С 1932 года в помещениях всех трех зданий расположилось управление НКВД – зловещая организация, получившая в народе соответствующие прозвища: «Жандармерия», «Девятый угол», «Девятый вал», «Мусорная управа», «Черная сотня». Столь же характерными были фольклорные наименования всего комплекса этих сооружений. Его называли: «Большой дом», «Литейка», «Белый дом», «Серый дом», «Собор Пляса-на-крови» или «Дом на Шпалерной» – по ассоциации со старинной тюрьмой «Шпалеркой», и даже «Малой Лубянкой» – по аналогии с печально знаменитой московской Лубянкой. «Большой дом» стал страшным символом беззакония и террора, знаком беды, нависшей над городом. Этот мрачный институт советской власти оставил неизгладимый след в судьбах сотен тысяч ленинградцев.
В 1950-х годах, когда деятельность НКВД была предана огласке, начали появляться первые оценки, которые народ формулировал в анекдотах. Приезжий, выходя из Финляндского вокзала, останавливает прохожего: «Скажите, пожалуйста, где здесь Госстрах?» Прохожий указывает на противоположный берег Невы: «Где Госстрах не знаю, а госужас – напротив». И второй анекдот. Армянское радио спросили: «Что такое комочек перьев, а под ним ужас?» – «Это воробей сидит на крыше „Большого дома“».
Согласно одной из легенд, «Большой дом» под землей имеет столько же этажей, сколько над ней. В фольклоре это легендарное обстоятельство превратилось в расхожий символ:
«Какой самый высокий дом в Ленинграде?» – «Административное здание на Литейном. Из его подвалов видна Сибирь».
В трамвае стоит гражданин, читает газету и говорит вполголоса: «Доведет он нас до ручки». Его тут же забирают. В «Большом доме» допрос: «Так что вы сказали? Кто доведет нас до ручки?» – «Как кто? Конечно, Трумен»! – «А-а так! Ну ладно, идите в таком случае». Он выскочил. Потом вернулся, просунул голову в дверь: «Скажите, а вы кого имели в виду?»
«Вы знаете Рабиновича, который жил напротив „Большого дома“? Так вот, теперь он живет напротив».
«Что выше – ОГПУ или Исаакиевский собор?» – «Конечно, ОГПУ. С Исаакиевского собора виден Кронштадт, а из ОГПУ – Соловки и Сибирь». (В скобках напомним, что ОГПУ – аббревиатура Объединенного Государственного Политического Управления, в функции которого в советские времена входила охрана государственной безопасности, в народе расшифровывалась: «О Господи, Помоги Убежать» и наоборот: «Убежишь – Поймают, Голову Оторвут»).
Ленинградцы со знанием дела уточняли: «С Исаакиевского собора виден Кронштадт, хотя до него 30 километров, а из подвалов Большого дома видны Соловки, хотя до них – 300». Говорят, первоначально подвалы «Большого дома» были разделены на три отсека, в одном из которых и производились расстрелы. Сейчас он будто бы замурован. Правда, среди сотрудников самого «Большого дома» ходят легенды о том, что здесь будто бы велись только допросы, а расстрелы якобы производились в «Крестах» на противоположном берегу Невы. Действительно, есть легенда, согласно которой между «Большим домом» и «Крестами» существовал подземный ход. Сохранились легенды и о самих допросах. Будто бы в кабинетах следователей стояли большие книжные шкафы, которые на самом деле были пустыми внутри и служили для изощренных пыток над заключенными.
По воспоминаниям ленинградцев, во время блокады в городе рассказывали о том, что даже в то жуткое время в секретных подвалах «Большого дома» днем и ночью не прекращалась работа специальной электрической мельницы по перемалыванию тел замученных и расстрелянных узников сталинского режима. Ее жернова прерывали свою страшную работу только тогда, когда электричества не хватало даже для освещения кабинетов Смольного. Но при этом, утверждает легенда, не прекращалось исполнение расстрельных приговоров «Шпалерных троек». Трупы казненных просто сбрасывали в Неву. Для удобства энкаведешников была проложена специальная сливная труба, по которой кровь замученных и казненных стекала прямо в Неву. Ленинградцы с тех пор уверены, что именно поэтому цвет воды напротив «Большого дома» навсегда приобрел красновато-кирпичный оттенок. Убедить их в том, что причина такого цвета воды кроется в природной особенности донного грунта, не представляется возможным. Сохранился леденящий душу рассказ о подводных призраках, с которыми столкнулся один водолаз. Как писал в своем блокадном дневнике ленинградец Г. А. Князев, бедный водолаз чуть не «сошел с ума от ужаса», когда увидел на дне Невы множество вертикально расположенных трупов. Оказалось, что к ногам утопленных был привязан груз и их «подняло быстрым течением и трепало так, что мертвецы размахивали руками, качали головами, и получалась странная картина митинга мертвецов».