Из всех людей, владевших Нескучным, наиболее знаменит
Алексей Орлов разводил здесь своих знаменитых рысаков и отстроил для них роскошный манеж, а зимой на льду реки проводил бега. Сюда, в Нескучное, часто приезжал его брат Григорий, бывший фаворит Екатерины Второй. Здесь, в Нескучном, он, уже тяжело больной, окончил свои дни.
В 1776 году он обвенчался со своей юной кузиной Екатериной Николаевной Зиновьевой (об этом его романе мы ещё поговорим). На момент свадьбы невесте было всего тринадцать лет. Синод возмутился и даже настаивал на разводе, но Екатерина это решение не утвердила, более того: наградила его супругу орденом св. Екатерины и сделала её статс-дамой.
Увы, счастья у Орловых не было: жена его заболела чахоткой и в 1782 году умерла. От горя он повредился рассудком и спустя год тоже умер. Екатерина, узнав о его кончине, не просто расстроилось, она слегла от горя, и придворный лекарь даже был вынужден пустить ей кровь, хотя обычно императрица редко пользовалась его услугами, предпочитая «бабкины средства». Всё же Орлов был отцом двух её детей: сына Алексея Бобринского (1762–1813) и дочери Натальи Алексеевой (1758–1808), в замужестве Буксгевден.
При графах Орловых в саду было построено несколько деревянных беседок и два каменных павильона. Сохранились Летний и обгоревший в 2003 году Ванный домики у Елисаветинского пруда и грот. Сохранились и декоративные мостики через пруды. Среди них особо примечателен трёхпролётный каменный арочный мост. Считается, что если влюблённые пройдут по нему, взявшись за руки, и поцелуются, то будут они жить вместе долго и счастливо до самой смерти. На некоторых кирпичах арочного моста можно заметить клеймо «Н. Я», что означает, что они изготавливались неподалёку — в Черёмушках, где владельцем кирпичных заводов был Николай Васильевич Якунчиков.
После смерти Орлова имение досталось его дочери, но та была слишком религиозна и мало заботилась о земном. Имение пришло в упадок и стало приютом для кочевых цыган.
В начале XIX века почти все усадьбы были куплены дворцовым ведомством. Центром ансамбля стал особняк Демидова, а название всему парку досталось от имения князя Трубецкого — Нескучное. Часть земель пошла для строительства больниц — 1-й Градской и Голицынской (в их бывшей усадьбе), а также Мещанского училища. А другую часть Николай I преподнёс своей жене, которую очень любил, назвав в её честь центральный дворец Александрийским (царицу звали Александрой Фёдоровной). Довольная царица принялась за обустройство: приказала соорудить корпуса для фрейлин, для кавалеров, чайные домики и манеж.
Сейчас в здании дворца располагается Президиум РАН (Ленинский проспект, 14), а в здании Орловского конного манежа — Минералогический музей РАН. Каменные парадные ворота Нескучного дворца украшены скульптурными группами, символизирующими изобилие (скульптор — Витали, 1846 г.).
Перед дворцом стоит фонтан, тоже работы Витали. Это часть московского водопровода — один из водоразборных фонтанов: он «переехал» сюда в 1936 году с Лубянской площади.