Отдельный интерес представляет судьба наиболее известных владельцев усадьбы – Барышниковых, купивших в 1774 г. усадьбу Алексино у помещика Салтыкова и оформивших ее поначалу на имя своего покровителя – графа И.Г. Орлова. И.С. Барышников был купцом из г. Вязьма, а купцы не имели право иметь поместья и крепостных. Но у Барышникова были особые отношения с богатым и влиятельным графом Иваном Григорьевичем Орловым (1733–1791), который был его покровителем и стал на какое-то время официальным владельцем Алексино. И.Г. Орлов занимал особое место среди своей родни, главенствовал среди своих братьев, они в молодости садились за стол только по его команде, называли его «судариком, папенькой, старинушкой». Орлов был семейным кассиром, определял финансовую политику в их роде, держал братьев в подчинении. Все они были огромного роста, силачи, здоровяки, лицом не дурны, нрава неуемного, буйного. Иван Орлов был самым прижимистым, самым хозяйственным из пяти (Иван, Алексей, Федор, Владимир, Григорий) знаменитых братьев Орловых, ставших богатейшими людьми при императрице Екатерине II, поскольку в большей мере благодаря именно им ей удалось осуществить дворцовый переворот в 1762 г., свергнуть законного императора – ее мужа и в обход сына Павла самой стать правящей императрицей. Григорий Орлов (брат Ивана) 13 лет (1760–1773) был фаворитом Екатерины II.
Говорили, что Барышников и Иван Орлов оказывают друг другу взаимообогащающие услуги. Ходили странные слухи, как купцу Барышникову удалось быстро разбогатеть, сделать дорогие приобретения. А в 1782 г. при помощи И.Г. Орлова И.С. Барышников был возведен в дворянство с одобрения императрицы Екатерины II, смог стать законным владельцем Алексино, ставшим родовым имением рода Барышниковых. Наиболее широко известная версия о том, как разбогатели Барышниковы, изложена в романе В.Я. Шишкова «Емельян Пугачев». Якобы Барышников смог стать особо доверенным человеком у фельдмаршала С.Ф. Апраксина, человека нередко нечистого на руку. Якобы Апраксин доверил Барышникову отвезти из действующей армии в Петербург бочонок или даже несколько бочонков с золотом под видом бочонков с селедками. Ловкий Барышников жене фельдмаршала бочки с селедками и доставил, а золото якобы взял себе. Но есть и другая версия, суть ее в том, что с подачи И.Г. Орлова Барышников умел провертывать обогащавшие их обоих сомнительные дела. И.Г. Орлов давал Барышникову информацию, обеспечивал деловые связи, прикрывал аферы, разрабатывал сценарии их выполнения, а Барышников практически реализовывал его указания, барыши делили, как договаривались, с большой выгодой для каждого из них. Все неизменно кончалось для них удачно, поскольку И.Г. Орлов был неуязвимой фигурой в обществе, имел колоссальные связи, влияние, сиятельную поддержку.
Расплатой за сомнительные делишки стало со временем пресечение рода Барышниковых и по большому счету нескладная жизнь графа И.Г. Орлова, не оставившего официального и доблестного потомства. И.Г. Орлов, женатый на Е.Ф. Ртищевой (1750–1834), детей не имел, всю жизнь думал только об обогащении, причем любой ценой, и о влиятельном положении в обществе. Прожил он 58 лет (его вдова пережила его на 43 года), продолжения рода по его линии не было. Прах всех братьев Орловых (которых старались хоронить в одном месте) несколько раз перезахоранивали в разных местах, а в советское время сожгли (1924). Все они сполна счастливыми при жизни не были, хотя, участвуя в аферах, разбогатели, а простых и долговременных человеческих радостей так и не приобрели, такова была месть судьбы.
Усадьба Алексино является своего рода памятником великому русскому зодчему М.Ф. Казакову, создавшему ее.