Многогранной была деятельность чекистов и по борьбе с разведывательными и диверсионными группами противника, которые забрасывались в ближайшие тылы советских войск. Также необходимо было разоблачать вражеских агентов как заблаговременно подготовленных, так и завербованных в ходе войны. Следует иметь в виду, что до начала войны в Ленинграде находились генеральное консульство Германии и представительства различных немецких торгово-промышленных фирм. Многие из сотрудников этих учреждений были кадровыми разведчиками. Некоторые из дипломатических и торговых представителей (советник консульства Холль, иностранные специалисты Мерц, Аше и ряд других) были изобличены в активной вербовочной работе и выдворены за пределы Советского Союза еще до войны. Остававшиеся связи германских разведчиков в Ленинграде, наличие в пригородах значительной немецкой колонии, часть населения которой до войны имела тесные связи с консульством, обязывали чекистов предупредить их возможную враждебную деятельность. По решению Военного Совета Ленинградского фронта от 26 августа 1941 года была проведена операция по выселению из города и прифронтовой полосы свыше 120 тысяч граждан немецкой и финской национальностей, уголовных элементов и лиц, отбывавших наказание за особо опасные государственные преступления. Эта операция осуществлялась поэтапно с конца августа 1941 года по октябрь 1942 года.
Еще в предвоенные годы, опираясь на помощь советских людей, ленинградские чекисты выявили немало шпионов и диверсантов, действовавших по заданиям фашистской разведки. В течение 1940–1941 годов пограничники задержали сотни германских агентов, пытавшихся проникнуть на территорию СССР через северо-западные рубежи. За неделю до начала войны нарядом 5-го погранотряда были обнаружены два нарушителя границы. Во время преследования один из них был убит, а второй задержан. Он оказался сотрудником финской разведки Вайно Никконеном. Выяснилось, что шпионы имели задание разведать дислокацию воинских частей и систем оборонительных сооружений в приграничных с Финляндией районах.
С началом войны положение усложнилось. Вторгшиеся в пределы нашей страны гитлеровцы активно забрасывали в тылы советских войск заранее подготовленных шпионов, диверсантов, террористов. Об этом свидетельствуют архивные документы, сообщения Особых отделов 8-й армии, с ожесточенными боями отступавшей из Прибалтики, и 23-й армии, сдерживавшей противника на Карельском перешейке. Вот примеры сообщений, поступавших из оборонявшихся частей: