Усадьбой Глебово владели яркие личности, оставившие заметный след в русской истории. В первой половине XIX века здешним хозяином был граф Федор Иванович Толстой (Американец) (1782–1846). Родственник графа писатель Лев Толстой отзывался о нем как о «необыкновенном, преступном и привлекательном человеке», а сын Толстого Сергей Львович даже написал о Толстом-Американце отдельную книгу. Род свой граф вел от Петра Андреевича Толстого (1645–1729), начальника Тайной канцелярии при Петре I. Отец Толстого-Американца – генерал-майор Иван Андреевич (1747 – после 1811). Мать Анна Федоровна (1761–1834), урожденная Майкова. Из этого же рода вышел русский поэт Аполлон Майков. Это о графе Ф. И. Толстом рассказывает А. С. Грибоедов в «Горе от ума»:
В 1803 году в Москве, на реке Яузе, немец Гарнер организовал аттракцион: желающие получали возможность прокатиться на воздушном шаре. Ф. И. Толстой не мог пройти мимо столь опасного предприятия и первым забрался в корзину. Во время полета шар зацепился за колокольню. Толстой хладнокровно выбрался сам и ушел домой, а немец просидел, дрожа от страха, несколько часов в ожидании пожарных. Последовала жалоба со стороны немца полковнику Дризену, которому по службе подчинялся Ф. И. Толстой. Полковник распек графа перед строем, за что был тут же вызван Толстым на дуэль. Дризен получил тяжелое ранение, а Толстого разжаловали, но тогда он немедленно записался юнгой на корабль.
Федор Иванович Толстой в преклонных годах. 1846 г.
Это была кругосветная экспедиция адмирала И. Ф. Крузенштерна, предпринятая в августе 1803 года. На корабле буйный характер Ф. И. Толстого проявился в полной мере. Так, он напоил допьяна корабельного священника, и, когда тот уснул на палубе, приклеил его бороду и вдобавок припечатал ее сургучом и печатью, украденной у Крузенштерна. В наказание начальник экспедиции высадил Толстого на остров Ситха, что недалеко от канадского берега, восточнее Алеутских островов. Здесь граф прожил в одиночестве довольно долго, пока его не подобрало какое-то судно и доставило на Камчатку.
Отсюда в начале 1805 года Толстой через всю Сибирь дошел до Петербурга. Выказал безумную храбрость в русско-шведской войне 1808–1809 годов. При нашествии Наполеона на Отечественной войне вернул себе чин и ордена, получил Георгиевский крест, при Бородине был тяжело ранен в ногу. После войны вышел в отставку полковником и жил в Москве в Староконюшенном переулке, а лето проводил в своей подмосковной усадьбе Глебово. Похоронен Ф. И. Толстой на Ваганьковском кладбище в Москве. После Толстого Глебово перешло к его жене Авдотье Максимовне, урожденной Тугаевой. Цыганка-певица сделалась женою графа после того, как выручила Толстого из огромного карточного долга, дав мужу необходимую сумму. Граф, уже помышлявший о самоубийстве, спросил тогда: «Откуда у тебя такие большие деньги?» – «Ты же сам мне их давал, а я ничего не тратила, а откладывала…»
Близкий знакомый Пушкина, поэт князь П. А. Вяземский в письме своем к А. И. Тургеневу нарисовал в стихах следующий портрет Ф. И. Толстого:
Юный Александр Пушкин еще до высылки своей из Петербурга в 1820 году был с Толстым в самых приятельских отношениях. В одном из своих писем к драматургу Шаховскому Толстой сообщил сплетню, что Пушкина будто бы высекли за его вольные стихи в Тайной канцелярии. Когда сплетня эта дошла до Пушкина, он решил, что, как только вернется в Москву, вызовет Толстого на дуэль. И все шесть лет своей ссылки постоянно упражнялся в стрельбе из пистолета, чтобы достойно встретить у барьера своего грозного соперника. И достиг в этом деле такого совершенства, что с десяти шагов рисовал пулями на листе жести женскую головку. Память об этом отразилась в повести А. С. Пушкина «Выстрел».
В 1826 году Пушкин вернулся в Москву и первым делом вызвал на дуэль Толстого. К счастью, графа в это время в Москве не оказалось, а затем приятелям удалось их помирить, так что Пушкин через Толстого впоследствии сватался к Н. Н. Гончаровой.
Убитых им на дуэлях Толстой насчитывал 11 человек. Имена их граф записывал в особый синодик. И умерло у него 11 детей.