Загряжские считали себя принадлежащими к высшей русской аристократии. Они были в родстве с Разумовскими, а А.Г. Разумовский (1709–1771) был морганатическим супругом императрицы Елизаветы Петровны Романовой. Отец Натальи Ивановны Загряжской (и дед Н.Н. Гончаровой) – Иван Александрович – был блестящим офицером, служил в гвардии, расшатав свои финансовые дела, женился на очень богатой баронессе А.С. Строгановой, ставшей Загряжской. Получив с ее приданым право распоряжаться деньгами, И.А. Загряжский с еще большим азартом увлекся картежной игрой (превратившейся в настоящую страсть для него) и иными светскими развлечениями сомнительного толка. После нескольких лет совместной жизни И.А. Загряжский отвез жену с детьми в принадлежащую ему усадьбу Ярополец, сам вернулся к привычной ему веселой светской жизни, редко и ненадолго навещал свою семью в имении Ярополец. Затем Загряжский со своим полком оказался в Дерпте (нынешний Тарту), где он влюбился в дочь самого богатого и влиятельного барона Липгарда – редчайшей красоты молодую женщину. Красавица Ульрика была разведена с мужем бароном Морисом фон Поссе, имела от него малолетнюю дочь. Загряжский до того потерял голову, что просил ее руки у ее отца (хотя сам был женат, но скрыл это), получил категорический отказ. Ульрика Поссе была пламенно в него влюблена и, как оказалось, полюбила его на всю жизнь. Ульрика бежала с ним из дома отца, подкупленный священник их тайно обвенчал (она не знала, что он женат). Ульрика написала письмо отцу, просила простить ее, рассказала о своем чувстве, а он дал ей понять, что для их семейства она умерла, ни на какое наследство рассчитывать не может. Она еще сильнее привязалась к Загряжскому, а он ее быстро разлюбил. При живой жене из рода влиятельных Строгановых он боялся Ульрику показать знакомым, выдавать ее за любовницу тоже боялся из-за возможной мести немецкой родни знатной Ульрики. Поэтому беременную Ульрику он отправил в свою усадьбу Ярополец к его официальной и благородной жене, решив, что обе его жены сами разберутся, что делать. Александра Степановна Загряжская (Строганова) была вдвое старше обманутой ее мужем Ульрики, была сильной, очень порядочной, доброй русской женщиной, она смогла понять глубину трагического потрясения, непоправимого горя Ульрики из-за непорядочности Загряжского. Загряжская осознавала величайший грех мужа, сама очень страдала из-за сложившейся ситуации, но как православная женщина решила терпеть и поддерживать ту, которой было хуже всех – Ульрику, ведь она лишилась веры в любимого человека, не имела никаких средств, осознавала, что для Загряжского она и ее ребенок не нужны. Родившуюся дочь Ульрики назвали Натальей (это была мать будущей Н.Н. Гончаровой); Загряжская окружила их своим вниманием и любовью. Так в усадьбе Ярополец стали жить две жены и дети Загряжского. Сколько слез пролили и мук перенесли из-за него здесь эти женщины, можно только догадываться. А Загряжский без них продолжал радоваться жизни. В 1791 г., когда Ульрике было 30 лет, а ее дочке всего 6, она все-таки в чужой стране не выдержала душевной муки и умерла. Загряжская (Строганова) заменила малютке мать, стала ее главной защитницей, добилась для нее, незаконнорожденной дочери Загряжского, выделения доли в его наследстве, добилась, чтобы узаконили рождение девочки. Загряжский был отцом 2 сыновей и 3 дочерей, за свою жизнь он промотал свое состояние и приданое жены, у него осталась только усадьба Ярополец, обремененная долгами.
Дочь Ульрики со временем стала очень красивой девушкой, пользовавшейся большим успехом в обществе (к этому времени ее рождение было узаконено и оговорены ее наследственные права, благодаря заботам А.С. Загряжской, которую она называла матушкой и безгранично любила). Молодая и очень красивая Н.И. Загряжская стала женой умного и главного наследника богатого рода Гончаровых – Н.И. Гончарова. У них родились 6 детей: 3 сына и 3 дочери (в том числе и Натали). Но свекор (отец ее мужа) – А.Н. Гончаров – из-за склонности к любовным утехам и роскошному образу жизни вконец расстроил финансовые дела всей семьи Гончаровых, оставил огромные долги и в 1832 г. умер. Муж Н.И. Гончаровой (Загряжской) – Н.А. Гончаров – пытался при жизни отца и после его смерти привести их финансовые и имущественные дела в порядок, но сил ему не хватило. Он приобщился к алкоголю, впал в длительные запои, временами буйствовал, сказался и роковой неизлечимый недуг их рода – проявилась и усилилась с возрастом психическая болезнь. С 30 лет Н.И. Гончарова вынуждена была заботиться о 6 детях и больном муже. В такой ситуации для трех бесприданниц Гончаровых рассчитывать на счастливое замужество было трудно. Из всех детей Гончаровых редчайшей красотой выделялась младшая дочь – Натали, говорили, что красотой она была сравнима с ее несчастной бабушкой Ульрикой, о фантастической красоте которой рассказывали семейные предания и миниатюра.