С Яропольцем связано множество преданий. Одно из них объясняет происхождение названия села от имени сына Владимира Мономаха Ярополка, якобы построившего крепость на высоком берегу Ламы (именно там, где ныне стоит усадьба Гончаровых). При Алексее Михайловиче здешние леса были любимым местом царских охот. Всюду проложили тропы, прорубили просеки, для привлечения зверья расставили кормушки. Еще одно предание сообщает, что именно в окружающих Ярополец лесах увлеченный ловитвой Алексей Михайлович простудился, занемог и вскоре скончался (1676 год) Через несколько лет, в 1684 году, правительница Софья пожаловала это село «на прокорм» бывшему гетману Украины Петру Дорошенко (1627–1698).
Дорошенко был одним из последних ярких представителей запорожской вольницы. Он был убежденным врагом власти Москвы и, став в 1668 году гетманом, попытался проводить независимую политику; но в конце концов, проиграв борьбу за гетманство другому претенденту, московскому ставленнику Ивану Самойловичу, оказался вынужденным именно в Москве искать убежище. Он прожил в своей новой вотчине до самой смерти и здесь же похоронен. Однако народная молва передавала из поколения в поколение, что Дорошенко бежал из Яропольца на свою родную Украину, переодетый участвовал в Полтавском сражении и именно им был ранен в ногу Карл XII накануне битвы. Бурной жизни опального гетмана посвящен лубочный роман «Таинственный монах», некогда пользовавшийся большой популярностью. Дорошенко действительно одно время скрывался в монашеской рясе в Межгорье (под Киевом), но это было задолго до ссылки в Ярополец.
После смерти Дорошенко его вотчина была поделена между двумя сыновьями. Старший Александр был женат на Прасковье Пушкиной, дочери стольника, казненного за участие в заговоре стрелецкого полковника Циклера в 1697 году. Он был предком великого поэта, хотя и не по прямой линии; Пушкин упомянул его в «Моей родословной»:
Их дочь Екатерина вышла замуж за А. А. Загряжского (1716–1786). Благодаря родству с Г. А. Потемкиным последний оказался в поле зрения Екатерины II и удостоился почетного и небезвыгодного места попечителя Воспитательного дома в Петербурге.
Младший брат Петр Дорошенко продал в 1717 году свою половину графу Г. П. Чернышеву. Так образовались два Яропольца: Загряжских-Гончаровых и Чернышевых. Характерно, что еще одно местное предание также считает Чернышевых потомками Дорошенко, а происхождение фамилии истолковывает следующим образом: первый из Чернышевых был простым казаком; он был ранен в лицо — от брови до уха. По обычаю запорожцев, он затер рану порохом; она зажила, но на ее месте от пороха остался черный шов. Отсюда его прозвище, впоследствии ставшее фамилией — уже когда он прославился и получил графский титул.
Наталия Николаевна Пушкина была правнучкой Дорошенко по материнской линии. Сначала усадьба, как приданое старшей дочери старшего сына гетмана, отошла к Загряжским, а затем в 1807 году таким же образом к Гончаровым (подробности далее). Ансамбль был создан в 1760-х годах. Очередное местное предание связывает его с именем Растрелли. Владелец Яропольца якобы пригласил знаменитого зодчего, воспользовавшись тем, что он находился неподалеку, в Новом Иерусалиме, где восстанавливал монастырь.
Архитектурный облик Яропольца благодаря своей завершенности представляется как бы эталоном русской усадьбы. «Готические» башни ворот напоминают шахматные ладьи. Пройдя их, посетитель оказывается внутри полукруга, образуемого служебными постройками. Главный дом с пристроенными флигелями стоит по диаметру. Его шестиколонный портик необыкновенно красив. Весь ансамбль выдержан в стиле классицизма с элементами неоготики. Высокие художественные достоинства заставляют предполагать авторство выдающегося архитектора. По-видимому, им был И. В. Еготов (1756–1815) — один из самых талантливых мастеров московской школы Баженова — Казакова.
Свой окончательный облик усадьба приобрела при генерал-майоре Б. А. Загряжском (1744–1809). О нем известно немногое; стоит упомянуть лишь то, что в 1791–1794 годах он был волоколамским уездным предводителем дворянства. После отставки он почти безвыездно жил в Яропольце, всецело посвятив себя хозяйству.
Его полной противоположностью был брат И. А. Загряжский (1749–1807). Он выделялся своей несдержанностью даже в среде дворянства того времени, отнюдь не склонного строго следовать предписаниям морали. Его рано женили на А. С. Алексеевой, по-видимому надеясь обуздать его буйство, но случилось как раз наоборот. Почувствовав волю, он пустился во все тяжкие. Близость к Потемкину только способствовала проявлению его страстей игрока и кутилы. Впрочем, он был храбрым офицером и дослужился до чина генерал-поручика.