При императрице Анне Иоанновне князь был сослан в Шлиссельбург, где и умер. Во время опалы князь жил в этом имении; здесь у него, по словам И. Е. Забелина, была собрана изящная библиотека и музей, которые своим богатством уступали в то время только библиотеке и музею графа Брюса. Большая часть рукописей из Архангельского перешла потом в собрание графа Толстого и затем принадлежала Императорской Публичной библиотеке; но лучшие были расхищены при описи имения – ими попользовался, как говорит Татищев, даже герцог курляндский Бирон.
Во времена Голицыных Архангельское напоминало старинное деревенское житье бояр по незатейливости и простоте. Двор князя состоял из трех небольших светлиц, собственно восьмиаршинных изб, соединенных сенями. Внутреннее убранство их было просто. В передних углах – иконы, у стены – лавки, печки из желтых изразцов; в одной светлице было два окна, в другой четыре, в третьей пять; в окнах стекла были еще по-старинному в свинцовых переплетах или рамах; столы дубовые, четыре кожаных стула, еловая кровать с периною и подушкою, в пестрядинных и выбойчатых наволоках и т. п.
При светлицах была баня, а на дворе, огороженном решетчатым забором, разные службы – поварня, погреб, ледники, амбары и пр. Невдалеке от дома стояла каменная церковь во имя Архангела Михаила, основанная отцом князя, боярином Михаилом Андреевичем Голицыным. Но что не соответствовало незатейливому простому боярскому быту тогда здесь – это две оранжереи, весьма необыкновенные по тому времени; здесь зимовали заморские деревья: лаврус, нукс малабарика, миртус, купресус и другие.
Против оранжерей был расположен сад длиною 61 саж, шириною 52 саж, в нем были посажены: самбукус, каштаны, шелковицы, серенгии (2 шт.), грецких орехов 14, божие деревья, маленькая лилия и т. п.; на грядах росли: гвоздика, катезер, лихнис халцедоника, касатики (iris) синие и желтые, калуфер, исоп и пр.
Против хором был заведен сад в длину на 190 саж, в ширину на 150 саж, с прешпективными дорогами, по которым были посажены клены и липы штамбовые. Последний из Голицыных, который владел Архангельским, был Николай Александрович, женатый на М. А. Олсуфьевой. Эта Голицына и продала Архангельское за 100 000 рублей князю Юсупову.
По покупке имения князь вырубил много лесу и принялся за капитальную стройку усадьбы. Дом был выведен в прекрасном итальянском вкусе, соединен колоннадами, с двумя павильонами, в которых, как и в семнадцати комнатах дома было расположено 236 картин, состоявших из оригиналов: Веласкеза, Рафаэля Менгса, Перуджини, Давида, Риччи, Гвидо Рени, Тиеполо и других. Особенное внимание из этих картин заслуживала картина Дойяна – «Триумф Метелла»; из мраморов Архангельского замечательна группа Кановы «Амур и Психея» и резца Козловского прекрасная статуя «Купидон», к несчастию, поврежденная при перевозке в 1812 году. Картинную галерею Юсупов собирал тридцать лет.
Но лучшая красота Архангельского – это домашний театр, построенный по рисунку знаменитого Гонзаго, для 400 зрителей; двенадцать перемен декораций этого театра были писаны кистью того же Гонзаго. У Юсупова был еще другой театр в Москве, на Большой Никитской улице, который прежде принадлежал Позднякову и на котором давались французские представления во время пребывания французов в Москве в 1812 году.
Библиотека Юсупова состояла более чем из 30 000 томов, в числе которых были редчайшие эльзевиры и Библия, отпечатанная в 1462 году. В саду был еще дом, называемый «Каприз». Рассказывали по поводу постройки этого дома, что, когда еще Архангельское принадлежало Голицыным, муж и жена поссорились, княгиня не захотела жить в одном доме с мужем и велела выстроить для себя особый дом, который и назвала «Капризом». Особенность этого дома была та, что он стоял на небольшой возвышенности, но для входа в него нет крылец со ступенями, а только отлогая дорожка, идущая покатостью к самому порогу дверей.
Князь Юсупов очень любил старые бронзы, мраморы и всякие дорогие вещи; он в свое время собирал их такое количество, что другого такого богатого собрания редких античных вещей трудно было найти в России: по его милости разбогатели в Москве менялы и старьевщики Шухов, Лухманов и Волков. Князь Николай Борисович, по своему времени, получил блестящее образование – он в царствование Екатерины был посланником в Турине. В университете этого города князь получил свое образование и был товарищем Альфиери.
Император Павел при своем короновании пожаловал ему звезду Андрея Первозванного. При Александре I он был долго министром уделов, при императоре Николае – начальником Кремлевской экспедиции, и под его ведением перестраивался Малый Николаевский кремлевский дворец.
Он имел все российские ордена, портрет государя, алмазный шифр, и когда уже нечем было его более наградить, то ему была пожалована одна жемчужная эполета.