В 1838 году Алексеевский монастырь был отсюда выведен в связи с началом строительства на Чертолье храма Христа Спасителя. На плане из атласа Хотева 1850 года показано очищенное для храма место между Волхонкой (тогда — Пречистенкой) и набережной, Соймоновским и Всехсвятским переулками площадью в 3 десятины 1681 квадратную сажень (около 4 гектаров). На набережной вместо стены и земляного вала за ней показаны на остальной части бульварчик и улица возле домов — «Всехсвятский вал». Проезд оставлен и по южной стороне бульварчика, а между ним и рекой показан целый длинный квартал из пятнадцати каменных и нескольких деревянных зданий: «каменомоские бани, содержавшиеся коллежским советником Василием Суровщиковым». Несомненно, он — наследник содержательницы бань в 1787 году. Бани занимали площадь 1296 квадратных сажен (более 0,5 гектара).
В строительном квартале между Волхонкой и «Всехсвятским валом» на последний выходили три двора: церкви Похвалы Богородицы, в которую в качестве приделов были включены церковь Николы «Старая Проща» и церковь Всех святых; Дворцовой конторы; грузинского царевича Илии Георгиевича (угловой двор с Ленивкой). За Ленивкой, на восточном ее углу с набережной, стоял небольшой дом купчихи Ломакиной, а за ним, занимая всю остальную часть квартала от Лебяжьего переулка до набережной и до Неглинной улицы (теперь — Манежной), находился обширный (1 десятина 291 квадратная сажень) двор подпоручика Миротворцева с каменным двухэтажным домом лицом к набережной (сохранился доселе) и огромным садом в восточной половине двора.
В 1857 году был сломан старый Большой Каменный мост и построен на его месте железный на каменных быках, сохранивший название старого — «Большой Каменный мост», без забытого уже добавления «Всехсвятский».
Бани Суровщикова сохранились и после его постройки. Писатель И. Белоусов вспоминает о них в своей книге: «За Каменным мостом по набережной, возле построенного после храма Спасителя, существовали старинные бани купца Горячева, которые в 1880-х годах назывались „Каменовскими“.
В то время местность около этих бань была совершенно неблагоустроенной: стояли какие-то низкие полуразрушенные здания мрачного вида с трактирами и питейными заведениями — притонами людей подозрительной репутации. Берег реки не был еще обложен гранитом. Местность эта называлась „Волчьей долиной“, по ней в позднее время обыватели боялись проходить»
В этой боязни, вероятно, не малую роль сыграли известные народу предания о Ваньке Каине, сыщике и воре XVIII века, скрывавшемся под арками старого Большого Каменного моста и отсюда выходившем с товарищами на грабежи.
В 1870-х годах, ввиду приближения 1880 года — года окончания постройки и внутреннего оборудования храма Христа Спасителя, был разработан проект устройства площади вокруг храма и проезда по набережной. Река Москва от Большого Каменного моста до современного Соймоновского проезда была одета в каменную одежду (подпорные стены), холм срезан и выровнен, и от него к набережной устроена широкая гранитная лестница. Площадь (терраса) под храмом со стороны набережной была подперта гранитными стенками высотой два метра и выше. Возле них устроили проезд. Бани у моста сломали, и занимаемая ими площадь пошла под проезд. Шедший близ домов земляной вал во избежание оседания фундаментов их и церкви Похвалы Богородицы был сохранен до перестройки домов. Он фактически сохранился до 1917 года перед этой церковью, причем со стороны мостовой его подпирали каменные стенки. На террасе храма у набережной по обе стороны гранитной лестницы были устроены скверы с тенистыми деревьями и цветочными клумбами.
По обеим сторонам Ленивки были выстроены большие каменные трех- и четырехэтажные дома, набережная получила благоустроенный вид. Правда, это было благоустройство конца XIX века: мостовая на набережной была булыжная, освещение — газовое, по ней двигалась конка из Соймоновского проезда на Кремлевскую набережную и обратно, с Неглинной улицы на Большой Каменный мост и обратно. Набережная плохо подметалась дворниками и почти не поливалась, так что из-за пыли на ней нельзя было иногда открыть даже форточку в квартирах выходивших на нее домов.
С конца XIX века (1883 год) на Каменном мосту и на террасе храма Христа Спасителя появилось электричество, но набережная продолжала освещаться газом. В начале XX века по Каменному мосту вместо конки пошли электрические трамваи; после они заменили конку и на набережной.
На углу набережной и Знаменки (у Александровского нижнего сада) с конца XVIII века стоит хорошо сохранившийся красивый трехэтажный дом, выходящий и в Лебяжий переулок. Сто лет назад он принадлежал генеральше княгине А. А. Оболенской.
Гоголевский бульвар