Когда в 1754 г. у великой княгини родился сын Павел, то его отцом считали при дворе не великого князя, а называли другие имена – Захар Чернышев, Сергей Салтыков, Лев Нарышкин – красавцев из знатных семей. З.Г. Чернышев поначалу думал, что близость и дружба с власть имущими людьми, расположение к нему влиятельных особ надежно обеспечит его положение при дворе, в свете. Но вскоре у Екатерины Алексеевны появились новые любовные привязанности, в том числе усилил свои позиции Сергей Салтыков, затем появился Григорий Орлов и его братья. Самолюбивый Чернышев оказался не на первых ролях, а он считал себя достаточно послужившим России. (Он принимал участие в Семилетней войне 1756–1763 гг., в чине генерал-поручика командовал в битве при Цорндорфе; в 1761 г. результативно способствовал взятию Берлина, командовал русскими войсками при его штурме, наложил на него контрибуцию.) После дворцового переворота 1762 г., когда первыми перед новой императрицей Екатериной II оказались братья Орловы, Чернышев остро почувствовал себя обойденным должным вниманием императрицы и неожиданно подал в отставку. Екатерина II хотела смягчить эту ситуацию, жалела бывшего фаворита и способствовала его карьере. Чернышев с 1763 г. стал вице-президентом, с 1773 г. президентом Военной коллегии и генерал-фельдмаршалом, в 1775–1781 гг. был наместником Могилевской и Полоцкой губерний, в 1782 г. был назначен Московским главнокомандующим. Чернышев сделал немало полезного в статусе главнокомандующего Москвы и в Белоруссии. Чернышев понял ненадежность монаршей милости и унижающее человека зависимое положение в окружении первого лица в государстве, хотя и ценил память Екатерины II о его прежних услугах ей, ее высокую оценку его полезных стране дел. При этом на службе и в своих личных делах он всегда болезненно стремился к первенству. Вот почему он решил перестроить доставшуюся ему по наследству усадьбу Ярополец, сделать ее наподобие маленького Версаля, что и начал реализовывать с 1774 г. В возведенной по его желанию усадебной Казанской церкви (1798) он со временем был похоронен; его мраморное надгробие сохранилось до наших дней. Императрица Екатерина II была умной женщиной, и для удовлетворения его самолюбия в 1775 г. посетила усадьбу Ярополец, о чем напоминает сохранившийся гранитный обелиск на ступенчатом основании в усадебном парке.
История усадьбы Ярополец-Чернышевых связана с двумя людьми с абсолютно одинаковым именем: Захар Григорьевич Чернышев. Первый был видным деятелем екатерининской эпохи (XVIII в.), а второй – декабристом (XIX в.). З.Г. Чернышев и его сестра А.Г. Муравьева, жена декабриста, также жили в Яропольце.
Граф З.Г. Чернышев был в рядах осужденных декабристов, оказался в числе сосланных в Сибирь. Он отбыл каторгу в Читинском остроге, жил на поселении, после служил солдатом на Кавказе в 1837 г., вышел в отставку и получил разрешение жить в своей родовой усадьбе без права выезда из нее. Позже З.Г. Чернышеву вернули графский титул, разрешили уехать за границу с женой для лечения. Здесь, в Яропольце, несколько лет до ее отъезда к мужу в ссылку в Сибирь жила его сестра – А.Г. Муравьева. Она стала одной из первых жен декабристов, отправившихся добровольно в ссылку к мужу. Именно она привезла им послание А.С. Пушкина «В Сибирь». А.Г. Муравьева умерла в Сибири в 1834 г., на 11 лет раньше сосланного туда мужа.