В первый год после свадьбы Алексей Федорович привез молодую жену в Хмелиты и остался там на зиму, поскольку своего дома в Москве теперь не имел, снимать не хотел, а купить или уехать на сезон в Петербург не мог — его начинали донимать кредиторы. Приходилось изворачиваться, перезакладывать деревни, выжимать деньги с оброчных крестьян. Наследство, доставшееся ему от отца, было значительно уменьшено выплатой приданого сестрам. Долги же, как и расходы, выросли. Но не только долги удерживали Алексея Федоровича в провинции. На престол в 1796 году взошел император Павел — и жизнь дворян перестала доставлять им удовольствие. Как ни печален был закат екатерининского царствования, но с восшествием Павла о его матери вспоминали со скорбью. Все вольности дворян новый монарх отменил. В Петербурге положительно невозможно стало находиться. Велено было, при встрече с каретой императора, выходить из экипажа, несмотря ни на какую грязь, и низко кланяться по этикету. Только дамам позволялось кланяться с подножки. Не то плохо, что грязно, но как-то унизительно это выходило. В Москве были другие печали: император приказал закрыть Английский клуб, словно рассадник якобинства, и карточная игра переместилась в частные дома и велась почти тайком. Даже в деревню проникало всевидящее царское око. Отныне на спектаклях домашних театров — даже благородных — обязательно требовалось присутствие полицейского пристава для наблюдения за благонадежностью. И скрыться было некуда: за границу выезжать запретили, даже книги запретили ввозить. И если случайно доходили до дам сведения о новых французских и английских модах, оставалось только расстраиваться: моды Павел тоже запретил под угрозой ссылки в Сибирь.
Алексей Федорович предпочел выйти в отставку, несмотря на незавидный чин коллежского советника, и отсидеться в деревне, надеясь на лучшие времена. Но его жена никак не хотела смириться с деревенским прозябанием. Зимние развлечения ее не забавляли, охотой она не интересовалась, а театр муж пока закрыл. В марте 1799 года Анастасия Семеновна родила первенца Семена, умершего во младенчестве, и поклялась, что ноги ее больше не будет в Хмелитах.
Летом Алексей Федорович получил известие о смерти своей тетки, сестры отца, А. А. Волынской. Она никогда не любила племянника и племянниц, хотя своих детей у нее не было, и в завещании совсем их обошла, отказав только «святые образа», а все свое имение и прекрасный дом в Москве завещала родне по мужу. Алексей Федорович очень оскорбился такой несправедливостью, для него неприятной, и начал с Волынскими тяжбу, приведшую к разделу: имение осталось все ж таки за ними, но дом на Пресне передали Грибоедову.
В августе следующего года скончался Алексей Васильевич Нарышкин, и его большое состояние, включавшее два дома в Москве, перешло к племянницам. Сестры полюбовно разделили наследство, и у Грибоедова внезапно оказалось два особняка в столице. В нарышкинском он поселился сам с семьей, а тетушкин дом передал по купчей сестре Настасье Федоровне, минуя ее мужа. Отныне вся многочисленная семья Грибоедовых могла проводить зимы в Москве в собственном жилье, а на лето уезжать в Хмелиты, куда, однако, Анастасия Семеновна, держа клятву, никогда не являлась, а проводила время у родных в деревне или в Петербурге.
Рубеж веков оказался богат смертями. Умер и Иван Никифорович Грибоедов. По разделу с матерью и братом Сергею Ивановичу досталось семьдесят три души в сельце Федоркове и часть сельца Сущево, которую он по просьбе жены продал Наталье Федоровне Лачиновой. На вырученные деньги он выкупил часть Федоркова, которой владел майор Зверев, и получил всю деревню целиком. Теперь благополучие Грибоедовых несколько восстановилось. Помимо Федоркова и Тимирева, лично им принадлежавших, они приобрели на деньги Прасковьи Васильевны два десятка крепостных в разных деревнях, записав их на имя детей. Маленькому Александру бабка продала (дав денег на покупку) свое родовое сельцо Сушнево, доставшееся ей от отца, со всеми угодьями. Ребенок был так мал, что еще не мог даже расписаться на купчей «за неумением грамоте», и за него расписался дядя по отцу — Е. И. Палицын.
Жизнь семьи устроилась. Устроилась и жизнь России. В марте 1801 года объявлено было потрясающее известие о внезапной кончине императора. Подробности происшедшего передавались по-всякому и негромко, но ими не так уж интересовались. Радости не было предела. Уже после, многие годы спустя, о Павле I начали судить взвешеннее, понимая, что не все было дурно в его кратком и несчастливом правлении. Но в те мартовские дни никто не сожалел о его судьбе, даже придворные, даже семейство публично выражали чувство избавления от страха и счастье от возврата к екатерининским порядкам.