После отмены крепостного права денежные дела Борхов резко ухудшились. Хозяева попытались поправить свое материальное положение за счет постройки доходного дома со стороны Галерной улицы, где на месте уничтоженных воронихинских флигелей был возведен двухэтажный дом и расширен поперечный дворовый корпус. Работа велась по проекту архитектора А. М. Камуцци. Но новое здание не спасло положения. И в 1880-х годах участок со всеми строениями был продан миллионеру Самуилу Соломоновичу Полякову, разбогатевшему в период «железнодорожной лихорадки».
Понимая художественную ценность особняка на набережной, Поляков старался по возможности ничего не перестраивать в нем — изменилась лишь отделка некоторых помещений, в том числе желтой комнаты. Заново украшенная лепниной и золотом в стиле рококо, эта комната получила название Голубой из-за окраски стен и потолка в светло-серый и голубой тона. Работы проводил архитектор Геральд Андреевич (Юлий Эрнестович) Боссе.
Переделкам подвергся дом на Галерной: был надстроен третий этаж, что позволило увеличить число квартир, сдававшихся внаем служащим тех правлений, председателем которых состоял С. С. Поляков.
Однако вскоре сам Поляков обосновался в Париже и заложил весь участок Московскому земельному банку за 450 тысяч рублей сроком на тридцать один год, а затем решил продать его.
После долгих переговоров здания приобрело государство для расширения Сената. Встал вопрос о приспособлении их под учреждения. Ввиду большой художественной ценности особняка на Английской набережной была создана специальная комиссия, возглавляемая архитектором В. А. Пруссаковым. Автором проекта реконструкции стал К. К. Шмидт.
Обеспокоенные судьбой памятника архитекторы, «Общество защиты и сохранения в России памятников искусства и старины» обратились в строительную комиссию Сената с предложением принять все меры к тому, чтобы «реставрационные работы проводились как можно тщательнее и чтобы украшающие дом фрески, представляющие по своему художественному значению совершенно исключительную ценность, были сохранены в их первоначальном виде». Все это учитывалось при реконструкции, и художественная отделка залов была полностью сохранена. Главным образом велись работы по освещению темных помещений, устройству удобных переходов для посетителей, увеличению числа комнат под служебные помещения. Переделке подверглась и лестница. Вокруг нее была сооружена обходная галерея, что уменьшило ширину средней лестничной площадки и лестничных маршей.
Реконструкция началась в 1912 году с создания в потолочном перекрытии светового фонаря и закончилась к марту 1914 года.
В 1917 году декретом советской власти дом был передан Комиссариату юстиции, который, в свою очередь, передал его Главному архивному управлению.
Во время Великой Отечественной войны дом был значительно поврежден. Реставрация его началась в 1945 году. За два года были восстановлены стены, перекрытия, воссозданы интерьеры. Работы осуществлялись под руководством архитектора А. Л. Ротача.
До 2002 года здесь размещались читальные залы и служебные помещения Российского государственного исторического архива. В 2002 году было принято решение о передаче этого дома в ведение Правительства Российской Федерации, где после научной реставрации сохранившихся интерьеров разместится Конституционный суд. После отъезда РГИА в 2006 году началась реставрация здания.
Здание находится под особой охраной государства как выдающийся памятник архитектуры.
Дом П. П. фон Дервиза
Дворец бракосочетания
Английская набережная, 28 (Галерная улица, 27)
Дом, в котором сегодня расположен Дворец бракосочетания, перестроен в конце XIX века, но история старого дома, стоящего на этом месте, как, впрочем, и нового, связана с именами людей, внесших большое развитие в российскую историю. Кроме того, последним владельцем особняка, впрочем, как и предыдущих домов, был представитель дома Романовых.
В конце XIX века пять домов на Английской набережной и, соответственно, столько же по Галерной улице, принадлежали семейству фон Дервизов: братьям Сергею Павловичу (номера 34а, 34б, 36 по набережной и 33, 35, 37 по Галерной улице) и Павлу Павловичу (номера 28, 40 по набережной и 27, 41 по Галерной).