Уже с 1920 г. устроили там внутреннюю тюрьму, значительно увеличенную в начале 1930-х гг. В единственном исследовании в обширной москвоведческой литературе, посвященном Лубянке, сделанном историком К.А. Аверьяновым, подробно описывается эта тюрьма, о которой ранее ничего не было известно. Называли ее «нутрянкой», режим был очень строгим, запрещались свидания и передачи. В инструкции по управлению тюрьмой говорилось, что «внутренняя (секретная) тюрьма имеет своим назначением содержание под стражей наиболее важных контрреволюционеров и шпионов на то время, пока ведется по их делам следствие, или тогда, когда в силу известных причин необходимо арестованного совершенно отрезать от внешнего мира, скрыть его местопребывание, абсолютно лишить его возможности каким-либо путем сноситься с волей, бежать и т. п.». В 1956 г. в ней было 118 камер на 350 мест; прогулочные дворы, отгороженные высокими стенами, находились на крыше, куда заключенных поднимали грузовые лифты. В этой тюрьме побывали виднейшие соратники Ленина, члены Политбюро и ЦК, военачальники, иностранные коммунисты, деятели культуры, очень многие известные люди – тут и Бухарин с Каменевым, и Мейерхольд, и Тухачевский с Блюхером, похищенный в Париже генерал Кутепов, и еще многие и многие… Теперь, как говорят, почти вся бывшая тюрьма переделана в кабинеты.
В разгар террора в конце 1930-х гг., когда арестовывали десятки и сотни тысяч, выяснилось, что «большой дом» уже недостаточно большой, и в 1939 г. заказали архитектору А.В. Щусеву сделать проект нового строения. Сначала предполагалось возвести помпезное сооружение с огромной, высотой в шесть этажей, аркой с затейливым обрамлением больших часов над ней, заимствованным из здания страхового общества, но затем решили ограничиться более скромным и сдержанным фасадом. Из-за войны к 1948 г. выстроили только правую часть здания, – так и стояли рядом два строения, одно еще дореволюционное, а второе советское, резко от него отличающееся. В 1986 г. оба здания объединили одним фасадом.
На здании мемориальная доска главы этой организации в продолжение 15 лет Ю.В. Андропова. Ее было сняли, но недавно восстановили.
Левая сторона Мясницкой улицы теперь начинается небольшим пустырем, на который выходит украшенное русским декором здание под № 3, построенное в 1897 г. по проекту архитектора В.Е. Сретенского для Московской духовной консистории (в православной церкви учреждение по управлению епархией; название произошло от латинского слова consistorium, то есть место собрания или совет).
Небольшое строение, стоявшее перед консисторским домом на месте нынешнего пустыря, имело давнюю и интересную историю. В нем находилось Рязанское архиерейское подворье, впервые упоминаемое в 1588 г., когда сюда было велено поместить неожиданно приехавшего за милостыней константинопольского вселенского патриарха Иеремию. Его пребыванием московские власти воспользовались для учреждения в России патриаршества. Он не соглашался, но после долгих уговоров, которые проходили и в Кремле, и здесь, на Мясницкой, куда приезжал Борис Годунов, патриарх уступил, и в январе 1589 г. первым московским патриархом стал Иов.
В Рязанском подворье жил и скончался в 1722 г. назначенный Петром I «местоблюстителем патриаршего престола» Стефан Яворский, знаменитый проповедник, который, по словам современника, имел удивительный дар: «Он своими поучениями мог возбуждать в слушателях смех или слезы, чему много способствовали движения тела, рук, помавание очей и лица пременение, что природа ему дала». Тут он работал над полемическими сочинениями, и тут его посещал святитель Димитрий Ростовский, его друг и сотрудник. Некоторое время, до получения двора на Пресне, на подворье жил грузинский царь Вахтанг со свитой. С 1774 по 1801 г. здесь обосновалась Тайная экспедиция (давние традиции Лубянки!), где допрашивали Емельяна Пугачева и Н.И. Новикова. Здание это наводило страх на москвичей, известно было, что там пытали заключенных в каменных мешках. «Старожилы Московские еще запомнят железные ворота сей Тайной, обращенные к Лубянке; караул стоял во внутренности двора. Страшно было, говорят, ходить мимо, и страх сей служил к обузданию строптивых», – писал И.Г. Гурьянов, автор московского путеводителя начала XIX в. По словам Гиляровского, он видел, как разрушали это здание, и видел подвалы, а в них какие-то ниши, в которых, как ему рассказывали, находили прикованные цепями скелеты.