Панорама с видом на Красные ворота считалась в Москве одной из самых красивых и впечатляющих. Художники много рисовали Красные ворота: их монументальный и в то же время праздничный, легкий облик очень гармонировал со стоящей рядом церковью Трех Святителей XVII века, с Запасным дворцом на углу Земляного вала и Новой Басманной, церковью Петра и Павла на Новой Басманной, которая, как утверждает предание, построена по рисунку Петра I. И почти всегда на работах художников присутствует видная в отдалении Сухарева башня; ее несколько суровые, но перекликающиеся с Красными воротами формы показывают их внутреннее родство и преемственность, и в то же время, очень наглядно и убедительно выявляют оригинальность и красоту каждого из этих сооружений. Красные ворота были известны всей России. Лубочные листы XVIII—XIX веков «Достопримечательности Москвы», на которых были изображены самые известные московские здания и сооружения и которые создавали народное представление об облике Москвы, неизменно изображали и Красные ворота. Народное восхищение и почитание окружало эту постройку.
Новая Басманная от Разгуляя
Но, правда, время от времени над Красными воротами нависала опасность. Во второй половине XIX века при Московской городской думе существовала «Комиссия о пользах и нуждах общественных». В 1854 году она подготовила и подала царю Николаю I предложение сломать Красные ворота «по бесполезности их». Высочайшее разрешение на их снос было получено. Но как только об этом стало известно в Москве, поднялась волна возмущения, москвичи во главе с историком М.П. Погодиным энергично воспротивились этому акту вандализма, и в результате их хлопот последовало новое высочайшее повеление: «Красные ворота не ломать и иметь наблюдение за их сохранением». В 60-е годы комиссия тайком продала Красные ворота на слом почтамтскому чиновнику Миляеву за 1500 рублей, но, как только это стало известно высшим властям, продажа была запрещена. В 1873 году комиссия подала в Думу доклад «по вопросу о необходимости исправления Красных ворот», в котором она, как было написано в докладе, «нашла уместным предложить Думе Красные ворота, по бесполезности их, сломать». И вновь Дума отвергла такую «заботу»
В начале XX века, когда первые энтузиасты-экскурсоводы – члены «Старой Москвы» – стали водить экскурсии по Москве, в числе первых немногих маршрутов, наряду с экскурсиями по Кремлю, по «улице просвещения старой Москвы – Никольской» появилась экскурсия «Вокруг Земляного города – от Красных ворот к Сухаревой башне», и начиналась она словами: «Красные ворота являются живым свидетельством вала и стен, окружавших когда-то город…» И они действительно были «живым свидетельством» исторических событий.
На много лет Красные ворота стали главным ориентиром района: все окрестные улицы и переулки обозначались одним понятием – «у Красных ворот».
В начале XIX века у Красных ворот жил И.И. Дмитриев, здесь у него бывали все московские поэты и писатели: Н.М. Карамзин, В.Л. Пушкин, Ю.А. Нелединский-Мелецкий и другие. У Красных ворот в доме Толя, облик которого нам известен только потому, что он попал на старые рисунки Красных ворот, родился М.Ю. Лермонтов. У Красных ворот, в Красноворотском проезде, жил К.С. Аксаков, в его доме В.Г. Белинский познакомился с Н.В. Гоголем. А по другую сторону площади в 1830– 1840-е годы в литературном салоне А.П. Елагиной, «у Красных ворот, в республике, привольной науке, сердцу и уму», как писал Н.М. Языков, собирались московские литераторы и ученые; здесь бывали А.С. Пушкин, В.А. Жуковский, Н.В. Гоголь, А.И. Герцен, Н.П. Огарев, Т.Н. Грановский, П.Я. Чаадаев и многие другие.
В послереволюционные годы в путеводителях отмечались революционные заслуги Красных ворот: в 1905 году возле них была сооружена большая баррикада, в 1917 году здесь проходили митинги и шли бои.
Одним из самых популярных поэтических произведений тогда было стихотворение Н.Н. Асеева «Кумач», которое начинается такой строфой:
Весной 1926 года Красные ворота были отремонтированы, а в ноябре Моссовет постановил их снести «ввиду узости места для проезда транспорта». Несмотря на протесты ученых, архитекторов, историков и других групп москвичей, Красные ворота и церковь Трех Святителей, в которой крестили Лермонтова, в 1927 году были снесены.