Однако быстрое возвышение привело к такому же стремительному падению обоих Архаровых. Оба они в 1797 г. снимаются императором со своих должностей и отправляются на жительство в Рассказово — богатейшее тамбовское имение Николая Петровича. Братья были очень дружны и даже в ссылке не пожелали расставаться. Вместе в 1800 г. они получают «прощение» и разрешение поселиться в Москве, но уже как партикулярные лица. Теперь дом Ивана Петровича становится одним из самых гостеприимных и хлебосольных в старой столице. И без преувеличения, в нем бывает вся Москва. «Стол накрыт для званых и незваных» — Грибоедов вполне мог говорить и об архаровском доме.
М.И. Пыляев приводит два ходивших об Иване Архарове анекдота. «Встретив на старости лет товарища юности, много десятков лет им не виданного, он, всплеснув руками, покачал головой и воскликнул невольно: „Скажи мне, друг любезный, так ли я тебе гадок, как ты мне?“» Второй анекдот связан со слабостью Ивана Петровича к французскому языку, которого выучить ему толком не довелось. Приезжает к нему однажды старый приятель с двумя рослыми сыновьями, для образования коих денег не щадил. «Я, — говорит он, — Иван Петрович, к тебе с просьбою: проэкзаменуй-ка моих парней во французском языке. Ты ведь дока...» Иван Петрович подумал, что молодых людей кстати спросить об их удовольствиях, и попытался перевести на французский фразу: «Милостивые господа, как вы развлекаетесь?» Однако языковые тонкости ему были недоступны: сказанное им имело совсем иной смысл: «Милостивые господа, хотя вы предупреждены...» «Юноши, — пишет Пыляев, — остолбенели. Отец стал их бранить за то, что они ничего не знают, даже такой безделицы, что он обманут и деньги его пропали, но Иван Петрович утешил его заявлением, что сам виноват, обратившись к молодым людям с вопросом, еще слишком мудреным для их лет».
И все же по-настоящему привлекательной для гостей была хозяйка дома на Пречистенке, вторая жена Ивана Петровича, о которой так тепло отзывается Н.М. Карамзин. Высокая, стройная, до глубокой старости сохранившая следы красоты и яркий цвет лица, Екатерина Александровна известна была редкой добротой, но и независимым твердым характером. Сама управляла семейными делами, не допускала никаких долгов, все лишние средства тратила на подарки и — умела дружить с женщинами. Одной из близких ей особ становится Надежда Осиповна, мать поэта. И это была одна из причин знакомства и интереса к Архаровой самого Пушкина.
Потеряв в результате войны пречистенский дом — он полностью сгорел, — лишившись почти сразу после освобождения Москвы мужа и его старшего брата, к которому вся ее семья была очень привязана, Екатерина Александровна переезжает в Петербург, в семью старшей своей дочери — княгини А.И. Васильчиковой. Лето «старая Архарова» обычно проводила в Павловске, где ее в день рождения непременно посещала вдовствующая императрица Мария Федоровна. Столицу на Неве Архарова поражает патриархальностью своих привычек.
Екатерина Александровна до конца жизни ездит в одной и той же карете, на одних и тех же окончательно одряхлевших лошадях, с теми же кучером и форейтором. Дом на Пречистенке всегда был полон родственников и приживалок — Архарова любила считаться самым дальним родством. Многих она привезла с собой в Петербург, постоянно хлопоча об их делах и интересах. На царские обеды, куда ее приглашала императрица Мария Федоровна, Архарова приезжала непременно в том самом костюме, в котором написал ее когда-то на портрете В.Л. Боровиковский, и набирала со стола множество угощений для всех своих домашних вплоть до любимых слуг. Зная эту особенность «старой Архаровой», ей специально готовили подносы с лакомствами. Екатерина Александровна утверждала, что «с царского стола все вкуснее».
В свою очередь, в день своего рождения Екатерина Александровна накрывала поистине царской пышности стол для приезжавших лиц императорской семьи, через которых ей удавалось удовлетворять многочисленные ходатайства тех, кто искал у нее самой покровительства и защиты. Москвичи утверждали, что у «старой Архаровой» было всего три слабости — хорошо и много поесть, целые ночи просиживать за картами и ездить по грибы. Именно ездить: в лесу Екатерина Александровна оставалась сидеть в одноколке, тогда как грибы предоставлялось собирать кучеру. Так бывало и в подмосковном архаровском имении Иславское, неподалеку от нынешней станции Жаворонки, и в расположенном около станции Шарапова Охота поместье Рождественка, иначе Телятьево-Рождественское, где сохранились и выстроенный Архаровыми дом, и церковь, и остатки липового парка с копаными прудами.
П.Д. Сытин называет среди последующих владельцев дома на Пречистенке Бахметьева и князя Гагарина; документы же свидетельствуют о том, что с 1829 г. его владельцем становится Иван Александрович Нарышкин, родственник и будущий посаженный отец Н.Н. Гончаровой на ее свадьбе с поэтом. Но это уже следующая страница непрочитанной Пушкинианы.