Градоначальник рассчитывал обнаружить крапленые карты и публично обвинить Павлова в шулерстве. Крапленых колод не нашли, зато во время обыска (10 января 1853) обнаружили документы, компрометирующие друзей дома – посетителей салона, запрещенные книги и статьи Герцена, копию зальцбруннского письма Белинского к Гоголю, подлинник гоголевского ответа и проч. Делу был сообщен политический характер. По приказу Закревского Павлов был посажен в долговую яму, находившуюся в помещении бывшего царского зверинца. Это был беспрецедентный случай.
Общество расценило жалобу Янишей как политический донос. В прессе появились злые эпиграммы и пародии на Каролину. Общее мнение сформулировал отъявленный враг Павлова Соболевский в известной эпиграмме, очень легко запоминающейся, поэтому повторяемой всеми:
После отсидки в долговой тюрьме Павлов был выслан в Пермь, где жил с апреля до конца 1853 года. В письмах из Перми он жаловался на несправедливость обвинения и признавался одному своему другу: «одну я в жизни сделал гадость: женился на деньгах». Его письма полны рассказами о тяжелых душевных переживаниях, вызванных необходимостью находиться вдали от привычного круга. Но его ссылка продлилась недолго: благодаря влиятельным друзьям, действующим через императрицу, удалось вымолить «помилование» у Николая I. После ссылки он оставался под строжайшим полицейским надзором, а позже – секретным наблюдением. С тех пор Павлов часто щупал свой пульс и, вызывая общее сочувствие, жаловался на сердечные перебои.
Но нет худа без добра: злоключения Николая Филипповича привели к еще более широкому распространении его рукописных сатир и эпиграмм.
В то время как общество безоговорочно приняло сторону Павлова, Каролина оказалась в положении отверженной. Она тщетно пыталась утаить от кредиторов хотя бы часть денег – это стало предметом еще большего презрения. Мало того, что она «мужа в яму посадила», в бумагах ссыльного нашли ее «переписку с одним господином, которому она предлагала оставить Ник. Фил. и бежать с ним, – в Адалузию, в Гренаду». Это был тот самый молодой человек красивой наружности, которого Каролина, по ее словам, прочила в мужья Евгении.
Московская общественность отвернулась от поэтессы. Критик Шевырёв называл ее «нравственным чудовищем», бывший друг Грановский – «женщиной без сердца, без чести, без стыда».
Остракизм потряс оскорбленную и разоренную поэтессу. Защиту и поддержку она смогла найти только в родительском доме. Вместе с сыном она поселилась у стариков Янишей и жила на их небольшие средства. Освобожденная от иллюзорных чувств, Каролина понимала, что начинается новый период жизни, борьба за выживание не столько физическое, сколько нравственное:
Оставаться в Москве было невозможно. Семья перебралась в Петербург. Творчество Павловой находило немало почитателей среди петербургского круга российских литераторов, но она чувствовала себя неуютно после перенесенных потрясений и испытывала серьезные денежные затруднения.