25 сентября недомогающий Росси просит из Ревеля продлить ему отпуск еще на двадцать дней. Однако разрешение дано только на неделю. Приходится неизвестно для чего возвращаться в Петербург. Через месяц он снова подает прошение об отъезде к семье. 2 ноября разрешение дано. Нескончаемая переписка, волнения, разъезды не способствуют «излечению расстроенного здоровья», на чем так заботливо настаивал император.
18 апреля 1834 года на стол министра двора ложится очередная просьба архитектора об отпуске на пять месяцев в Ревель. В этот год в семье Росси родился мальчик Николай.
5 февраля 1835 года разрешен отъезд в Ревель до 1 мая с условием, что зодчий подготовит там чертежи и планы переделки левого корпуса Театральной улицы под нужды театральной школы.
24 июля 1835 года архитектор подает очередной рапорт: «…проживая здесь в столице врозь от семейства моего, находящегося в Ревеле, я должен был нести двойные расходы содержания моего и сим расстроил состояние мое. Для приведения в порядок домашних дел моих я осмеливаюсь покорнейше просить… уволить меня в отпуск в город Ревель на все зимнее время до весны будущего 1836 года». Странное положение: человек, отошедший от дел, пребывающий в отставке, бесцельно проживает в Петербурге и каждый раз просит милостивого разрешения на свидание с семьей. Даже князь С. Гагарин, временно заменивший умершего Селявина, осознает необычность ситуации. Князь обращается к министру двора: «Архитектор, коллежский советник Росси просит об увольнении его в Ревель… Испрашивая на сие разрешение, Вашего Сиятельства, имею честь присовокупить, что архитектор Росси по высочайшему повелению… уволен от всех занятий по строениям». Князь Волконский, недолго раздумывая, накладывает резолюцию: «Уволен, ибо он в должности больше не состоит, а притом спросить у него, где проект плана для театральной школы, им деланный…» Ну как тут не вспомнить мудрую мысль некоего начальника из «Повести о капитане Копейкине»: «…не было еще примера, чтобы у нас в России человек, приносивший, относительно, так сказать, услуги отечеству был оставлен без призрения». А касательно того, что «расстроил состояние свое», то, как говорил все тот же мудрый начальник, «ищите сами себе средства, старайтесь сами себе помочь…».
Шестидесятилетний без года Росси ищет настойчиво и постоянно. Поиски доводят до того, что приходится отложить отъезд. 26 августа 1836 года прусский купец Карл Штрайх подает иск на архитектора Росси, не вернувшего 3023 рубля долгу. Архитектор молит высчитывать этот долг по частям из получаемых окладов — 15 500 рублей ассигнациями в год. Но еще 28 апреля 1834 года он взял в казначействе 3 тысячи в долг под эти же оклады. Прославленный зодчий, чьи творения вызывали неподдельный восторг жителей столицы, оказался между двумя кредиторами, как мореплаватель между Сциллой и Харибдой, когда нет спасения. Купец все же смилостивился, и окончательный расчет завершился только 10 мая 1838 года.
Растет семья. Дорожает жизнь. И конечно, «средств для прокормления» не хватает. Приходится идти на самые невероятные ухищрения, которые в другое время себе бы не позволил.
Еще в 1832 году, как раз в тот день, когда Карл Иванович подал прошение об отставке, на основании императорского повеления архитектору Росси был вручен пожизненный безденежный билет в ложу № 14 второго яруса Александринского театра. Одновременно объявлено, чтобы «…билет сей при приезде кого-либо в театр в означенную ложу был каждый раз при входе предъявляем капельдинерам… которым дано приказание, не отбирая билета сего, пропускать в упомянутую ложу…». И вот в январе 1837 года билет становится причиной громкого скандала.
14 января директор императорских театров Гедеонов доносит министру двора: «…господин Росси предложил дирекции, не желает ли она отобрать от него сию ложу, а ему заплатить за нее деньгами.
По неизвестности, вправе ли еще г. Росси делать без особого дозволения подобного рода передачи ложи… я не решился принять его предложения.
Но ложа сия занимается почти на всех представлениях разными лицами из публики и как впуск в оную делается всегда по особенному на нее выданному г. Росси билету, то и открылось, что с сим билетом присылается в театр человек, который и продает в коридоре сию ложу местами по одиночке разного рода людям… Сему посылаемому было не только много раз подтверждено сего больше не делать, но даже… был он за то задержан в театре с объявлением, что если продолжит еще впредь подобныя действия, то… будет препровожден в полицию.
Несмотря однако на сие оказалось, что при спектакле бывшем 10 января впущено было таковым же образом в ложу… разного рода людей семь человек, из коих между двумя произошла ссора и драка, при разбирательстве коих полициею оказалось, что в числе сидевших в сей ложе были дворяне или чиновники, а также крепостные люди…»