В свое время П. И. Бартенев записал выразительный рассказ Соболевского относительно Натальи Ивановны и ее старших дочерей: «У Пушкиных она никогда не жила. В последнее время она поселилась у себя в Яропольце и стала очень несносна: просто-напросто пила. По лечебнику пила. „Зачем ты берешь этих барышень? — спросил у Пушкина Соболевский. — Она целый день пьет и со всеми лакеями… (нецензурное слово. —
В октябре 1831 года Пушкин, еще не знавший Душина, сообщил Нащокину, что хочет приехать из Петербурга, чтобы спасти от «банкрутства тещи моей и от лап Семена Федоровича» бриллианты Натальи Николаевны. С. Ф. Душин, московский мещанин, который управлял Яропольцем еще при Загряжских, остался в той же должности и при Наталье Ивановне, исполняя ее до своей смерти. То, что он сблизился с Натальей Ивановной, конечно же раздражало ее детей, но никаких оснований приписывать ей развратную жизнь нет. Она пережила Душина, похоронила его у стен домовой церкви и до конца своих дней ухаживала за его могилой, приказав выбить на надгробии трогательную эпитафию в немудреных стихах:
На лицевой стороне надгробия сделана надпись уже прозой (сохраняем несогласования оригинала): «Памятник воздвигла Н. И. Гончарова с детьми московскому мещанину Семену Федоровичу Душину от чувств благодарности за 20 лет непрестанное и беспристрастное его управление ярополецким имением и скончавшемуся 19 сентября 1842 г. на 50 году от рождения». Дети конечно же не имеют отношения к памятнику на могиле Душина — он сооружен стараниями Натальи Ивановны; но именно благодаря его управлению Ярополец перешел к ним в хорошем состоянии, не обремененный долгами, и оставался в их роду до 1917 года.
В альбоме Натальи Ивановны можно прочесть запись, многое проясняющую в ее характере и поведении: «Так жестоко, когда приходится не доверять своей собственной семье и видеть врагов в своих близких. Довериться Богу — наш долг, полагаться на людей — это безрассудство. Я предпочитаю, чтобы маски были сорваны. Бывают периоды в жизни, которые лучше стереть из своей памяти, чем стараться о них вспоминать. В жизни бывают жестокие минуты».
В свой альбом она переписала и стихотворение Пушкина «Отцы пустынники и жены непорочны», принадлежащее к так называемому каменноостровскому циклу лета 1836 года и опубликованное в «Современнике» уже после смерти поэта с заголовком «Молитва». К концу жизни религиозные настроения Натальи Ивановны особенно усилились. Она скончалась на богомолье в соседнем Иосифо-Волоколамском монастыре, в стенах которого и похоронена.
Ее отношения со старшими дочерьми оставались напряженными с того времени, когда они покинули Полотняный Завод. Первая ее реакция на их отъезд в Петербург стала известна после возвращения Пушкина из Болдина 15 октября 1834 года, о чем Екатерина Николаевна Гончарова написала брату Дмитрию на другой день: «Пушкин приехал позавчера в 10 часов утра; он нам сообщил все новости о вас; он был у матери, она ему наговорила Бог знает что о нас, и вдобавок утверждает, что это мы подговорили Ташу, чтобы она не возила к ней своего сына, когда Таша последний раз заезжала к матери; так мы и знали, что это будет еще одна вина, которую она нам припишет».