Князь умер в 1831 году, имея чин сенатора и действительного статского советника, будучи членом Государственного совета, бывшим главноуправляющим императорских театров, Эрмитажа, Кремлевской экспедиции и Оружейной палаты, директором дворцовых стекольных, фарфоровых и шпалерных заводов. Припомнили, что он восстанавливал после французского нашествия памятники Кремля, в частности Оружейную палату, где в 1814 году он же открыл общедоступный музей. Завершая жизненный путь, Николай Борисович выразил желание покоиться рядом с отцом в родовой вотчине, намекая на «именьице в селе Котове, которое в 20 верстах от Первопрестольной, по Рогачевке, немного в сторону». Там его и похоронили.
Другой знаменитый гость Архангельского в своих литературных воспоминаниях отдал дань восхищения усадьбе, отметив ее художественное совершенство. «Гордый аристократ, – писал Герцен, – собрал растения со всех частей света и заставил их утешать себя на севере; собрал изящнейшие произведения живописи и ваянияи поставил их рядом с природою, как вопрос: кто из них лучше? Но тут уже самая природа не соперничает с ними, изменилась, расчистилась в арену для духа человеческого, который, как прежние германские императоры, признает только те власти неприкосновенными, которые уничтожены им, а затем им же восстановлены, как вассалы».
Воспоминания Александра Герцена считаются лучшими из всего, что было написано об Архангельском. Одно время, еще не впитав в себя народовольческих идей, он служил под началом Бориса Николаевича в Кремле и, видимо, имел с ним хорошие отношения. Летом 1833 года молодой князь пригласил его в усадьбу, куда Герцен приехал с друзьями по университету. Впечатления о той поездке позже вошли в «Записки одного молодого человека», где упоминаются две круглые беседки-миловиды, стоявшие у спуска к реке. Свое название они получили за то, что открывали в самом деле милые картины заречных далей: «Мы опять вышли в сад и отправились на гору, в беседку, у ног которой Москва-река. Река тихо струилась узенькой ленточкой, довольная своим аристократическим именем; поля, леса, синяя даль – природа именно этой далью, этой безграничностью приводит в восторг». Ни одна из тех беседок, к сожалению, не сохранилась, уцелел только арочный мостик, ведущий к одной из них.
Герцен единственный из своих современников нарисовал словами цельную картину усадьбы середины XIX века, причем очень живую и образную. Главным персонажем этой литературной композиции писатель сделал себя, причем сомнений, прилично ли петь дифирамбы крепостнику или нет, обличитель русского рабства не испытывал. «Глаза разбежались, – отмечал Герцен, – изящные образы окружали со всех сторон. Уныние сменялось смехом, Святое семейство – нидерландской таверной, Дева радости – видом моря. Пышный Гвидо Рени роскошно бросает краски, и формы, и украшения, чтобы прикрыть подчас бедность мысли, и суровые Ван Дейка портреты, глубоко оживленные внутренним огнем, с заклейменной думой на челе, и дивная группа Амур и Психея Кановы, – все это вместе оставило нам воспоминанье смутное, в котором едва вырисовываются отдельные картины, оставшиеся Бог знает почему, тоже в памяти. Помнился, например, портрет молодого князя, верхом, в татарском платье, помнился портрет дочери м-м Лебрен. Она стыдливо закрывает полуребячью грудь и смотрит тем розовым взглядом девушки, которой уже не много до поцелуя, волнующего ее душу чистую, как капля росы на розовом листке, и огненную, как золотое аи. Не раз, быть может, старый князь останавливался перед ней, желая отодрать ее от полотна, восстановить растянутые в одну плоскость формы, согреть их, оживить и крепко прижать к своему татарскому сердцу».
Вместе с восхищением усадьбой Герцен, подобно Пушкину, прямо высказал свою симпатию к ее владельцу. Из уст революционера-народника, основателя общества «Земля и воля», испытавшего арест и 6-летнюю ссылку, это звучало несколько странно. Однако на сей раз общество не возмутилось. Писатель, нашедший ответ на вопрос, кто виноват (конечно же помещик), с легким сердцем наслаждался тем, что, согласно своему мировоззрению, должен был презирать. Более того, он пользовался комфортом и был за то благодарен помещику Юсупову, которого явно отделял от обобщенного образа русского аристократа: «Иностранцы дома, иностранцы в чужих краях, праздные зрители, испорченные для России западными предрассудками, а для Запада – русскими привычками. Они представляли какую-то умственную ненужность и терялись в искусственной жизни, в чувственных наслаждениях и нестерпимом эгоизме».