Весной 1795 года Грибоедовы вынужденно выехали из дома Шушириной, которая занялась перестройкой его деревянных корпусов. На лето они поселились в Тимиреве, да так и остались там до 1800 года. Детям деревенская жизнь была полезна, но Настасья Федоровна ею тяготилась. Однако делать было нечего, средства совсем не позволяли ей переехать в город. К 1798 году от ее приданого осталось едва шестьдесят душ. Этого могло хватить для простой жизни в провинции, но о Москве приходилось забыть. Сергей Иванович, растратив приданое жены, совсем перестал оказывать ей внимание, а только играл и пил. Грибоедова попробовала прибегнуть к помощи брата, желая найти мужу полезное занятие и тем удержать во Владимире. Ее супруг ни в чем не принимал участия, ни разу не был даже на дворянских выборах, всякий раз отсылая положенный послужной список и всякий раз отказываясь приехать в собрание под предлогом болезни. Так и в декабре 1799 года он сказался больным и не прибыл на очередные выборы, что не помешало ему в январе укатить в Москву, несмотря на тяжелую болезнь отца. Но в его отсутствие Алексей Федорович, по тайному сговору с давним своим приятелем и сослуживцем Павлом Степановичем Руничем, бывшим тогда владимирским губернатором, убедил губернское дворянство избрать зятя в депутатское собрание — причем от Вязниковской округи, где тот никогда не бывал и поместий не имел. После разгульного времяпрепровождения в Москве, где он дни и ночи играл в банк, Сергей Иванович вернулся во Владимир и был неприятно поражен тяжким состоянием отца и приказом губернатора немедленно явиться для исправления должности.
Но Грибоедов был, когда хотел, тверд. Тотчас он послал в собрание записку, настаивая на своей болезни и требуя врачебного освидетельствования. Присланного врача владимирской управы Невианда он убедил найти у него серьезное недомогание, и тот показал, что Грибоедов «по застарелой цинготной болезни не только оной, но и никакой другой должности исправлять не может». Лекарь едва ли сумел бы объяснить, как можно довести себя до цинги, тем более «застарелой», не на корабле в кругосветном плавании, не в голодном крае, а в сельской России, на простой и здоровой пище. Но опровергать его диагноза не стали, съесть несколько лимонов Грибоедову не посоветовали, а просто махнули на него рукой, от должности отстранили, и впредь семья и друзья его жены о нем не думали и никогда не поминали.
Единственным утешением Настасье Федоровне было общение с сестрой Лачиновой, небогато жившей во Владимире и родившей в 1795 году дочь Варвару. Сестры не смогли даже побывать на свадьбе брата, после нескольких лет рассеянной жизни женившегося вновь — на соседке, Анастасии Семеновне Нарышкиной.
Женившись на Нарышкиной, Алексей Федорович попал в очень знатное семейство. Нарышкины были в родстве с царями, а отец Анастасии Семен Васильевич и ее дядя Алексей Васильевич пользовались расположением покойной императрицы. Оба были не только богаты и в высоких чинах, но превосходно образованы, писали стихи. Во время путешествия Екатерины по Волге, когда государыня со свитою взялась от скуки переводить роман Мармонтеля «Велисарий», Алексей Васильевич перевел две его главы. Позже он стал членом Императорской российской академии. У него детей не было, а дочери Семена Васильевича получили лучшее воспитание, говорили по-французски и итальянски, могли читать по-немецки и даже по-английски, пели и музицировали. Анастасия Семеновна внесла в московскую семью Грибоедовых петербургский великосветский тон, который немного задевал сестер Алексея Федоровича.