Из пяти братьев Орловых Федор более других был склонен к государственной деятельности. Кроме своей работы в Сенате, он был направлен депутатом от дворян Орловской губернии в Комиссию по Уложению. Это было весьма почетное звание: особым указом депутаты облекались пожизненной личной неприкосновенностью. Когда его брата Григория на славном фаворитском поприще сменил Григорий Потемкин Федор Орлов вышел в отставку и поселился в Москве, где он родился, и где жил его брат Алексей. По прихоти судьбы, Федор Орлов так и не женился, но наплодил аж семерых внебрачных детей. Поскольку императрица всегда чтила заслуги графа Федора Орлова, высочайшим повелением было разрешено его незаконным детям носить его графскую фамилию и сохранить дворянство. Федор Григорьевич умер в 1796 году, а перед смертью завещал детям дружбу и любовь, какая связывала его с братьями: «Живите дружно, – сказал он, – мы дружно жили с братьями, и нас сам Потемкин не сломал…»
Портрет Алексея Орлова неизвестного художника
После смерти Ф. Г. Орлова владение перешло к его старшему брату Алексею Григорьевичу Орлову-Чесменскому, брату фаворита императрицы. Вплоть до возвышения Потемкина граф Алексей Орлов, один из первых и богатейших людей империи, был всесилен, руководил политикой Петербурга, выполнял важнейшие дипломатические поручения. Именно ему было поручено обезвредить авантюристку, известную под именем княжны Таракановой, что и было им самым коварным образом выполнено.
Княжна Тараканова. Константин Флавицкий
Самозванка, претендующая на российский престол, и называющая себя дочерью императрицы Елизаветы I и ее фаворита Алексея Разумовского, сумела сколотить вокруг себя сторонников в лице влиятельных лиц Европы. А. Г. Орлов отправился в Италию, вошел в доверие самозванки, обольстил ее. Затем заманил принцессу на русский корабль и привез ее в казематы Петропавловской крепости, где обманутая несчастная княжна, ожидающего от графа ребенка, скончалась от чахотки.
По словам современников, граф Алексей Орлов был смелым и одаренным авантюристом, обязанным своим головокружительным возвышением своим незаурядным способностям, силе, удали, отваге и уму. Ходили слухи, что именно Алексей Орлов, сильный, как медведь, расправился с тщедушным Петром III, за что Екатерина Великая щедро наградила главного участника переворота, давшего ей трон и избавившего от ненавистного мужа. Императрица пожаловала Алексея графским титулом и подарила 800 душ крепостных.