Достичь даже временного благополучия Грибоедовым не удается. Материальные затруднения побуждают Настасью Федоровну с мужем пытаться справиться с ними за счет собственности сына. В июле 1809 года четырнадцатилетний «кандидат императорского Московского университета Александр Сергеев сын Грибоедов» продает сельцо Сушнево и деревеньку Ючмерь полковнику К.М. Поливанову, продает в Москве, и в качестве свидетеля выступает его отец. В Москве, как и на Владимирщине, супруги жили вместе. Записавшись в Московский гусарский полк 26 июля 1812 года, Грибоедов вместе с полком попадает в начале сентября во Владимир и здесь заболевает. Последующий год он проводит во Владимире в доме родителей. Грибоедовы жили в доме соборного священника Матвея Ястребова на Девической (позднее – Красномилицейской) улице. И они отчаянно боролись за то, чтобы противостоять материальным невзгодам. Отдавая своих крепостных в ополчение, они не предоставляют им положенной амуниции, уступают в другие полки, самое жестокое – продают на вывоз. В 1813 году, например, были проданы в Вологду генералу Цорну из деревни Федорково, Митрофаниха тож, дворовые Григорий Филиппов 35 лет и Степан Андреев 41 года с двенадцатилетним сыном. Совершенно так же поставлял своих крестьян в ополчение для других помещиков и Алексей Федорович Грибоедов, живший в то время во Владимире.
Московский пожар, уничтоживший пресненский дом, наносит очень тяжелый удар семье. К тому же в 1814 году не стало Сергея Ивановича, и дело о наследстве раскрывает полную картину грибоедовских материальных невзгод. Сергей Иванович оставил жене и детям сельцо Митрофаниху с 95 душами мужского пола и деревню Моругино с 49 душами. Но на эту недвижимость ложились непомерные долги «на 58 тысяч, как партикулярных разным лицам, так и казенных, а именно ей, Настасье, по распискам, взятым у нее на сохранение, – 50 тысяч рублей, да по заемным письмам: статскому советнику Николаю Яковлевичу Тинькову – тысяча пятьсот рублей, Настасье Федоровне Басаргиной – тысяча, московскому купцу Василию Федорову – пятьсот и московскому опекунскому совету под залог оного имения – пять тысяч триста».
Выход, который находит Настасья Федоровна, полностью освобождает ее от долгов, сына же – от всякого наследства. Как свидетельствовал документ, «они – Настасья и Александр – вышеописанных долгов, равно и следуемого имения, принять не желают и определяют все оставшееся имение девице Марье Грибоедовой в вечное и потомственное владение и обязуются как за себя, так и за наследников своих о возврате того имения Марью впредь никогда не просить, с тем, однако ж, чтоб и все оставшиеся долги платить ей, Марье, не привлекая их ни под каким предлогом». Мать и дочь находились в это время в пресненском доме, Александр Сергеевич в Петербурге, откуда он приехать не захотел. Его доверенным лицом выступает Иван Михайлович Левашов: «Доверенность писана и засвидетельствована в Санкт-Петербургской палате гражданского суда июня 30 минувшего (1815) года, которой он, корнет Александр Грибоедов, на добровольном имении покойного родителя его вышереченного секунд-майора Сергея Грибоедова, разделе с родительницею его, уполномочивает его, Левашова». С чем бы это ни было связано, но в последующие свои приезды в Москву останавливаться в пресненском вновь отстроенном доме Грибоедов уже не хотел.
Он не принимает участия и в последующих делах матери, которая не останавливается в своих земельных спекуляциях. После оформления отказа от наследства, но и долгов, покойного мужа Настасья Федоровна начинает заниматься вновь приобретенным имением в Костромской губернии. Она в четыре раза увеличивает оброк, чем вызывает бурное возмущение крестьян. Правда, в назначенном разбирательстве дворяне принимают ее сторону, но Александр I, до которого доходит дело о крестьянском бунте, отдает имение Настасьи Федоровны под опеку шести помещиков, впрочем, согласившихся с требованиями владелицы. Отказ крестьян платить оброк приводит к тому, что по просьбе Настасьи Федоровны в ее имение присылается команда сначала из ста девяноста, а затем и трехсот человек. На помощь Грибоедовой приходит подполковник Илья Огарев, женатый на ее племяннице. Он грозится не просто прибегнуть к насилию, но вообще разрушить крестьянские избы. В конце концов, в руках крестьян появляется оружие, и единственным выходом для администрации становится перемена владелицы имения. Настасью Федоровну принуждают отказаться от своего приобретения и перепродать имение княжне Долгоруковой, которая находит со своими крепостными общий язык. И это еще одна из причин, заставляющая Грибоедова избегать материнского дома.