Получив согласие наследника выдавать ему в течение трех лет по три тысячи рублей ежегодно, Иванов тут же, в конце 1839 года, должен был истратить первые три тысячи. Оставалось еще шесть тысяч, которых едва могло хватить на два года. Но даже и эти оставшиеся два года Иванов не мог всецело посвятить своей картине: Жуковский поручил ему наблюдать за исполнением русскими художниками в Риме заказов наследника. Как ни тяжело было для Иванова это поручение, отказаться не было никакой возможности. Приходилось уделять часть своего бесценного времени наблюдению за производством заказов, приходилось терпеть немало неприятностей, прямо вытекавших из роли надзирателя за чужой работой и положивших начало размолвке Иванова с товарищами. Все, что отрывало Иванова от его главного труда, болезненно тревожило его, вызывая перед ним страшный для него призрак Петербурга и напоминая о возможности вынужденного возвращения в родной город, как только иссякнут последние скудные средства. «Ах, только в Риме и поработать!» – с тоскою восклицал художник, дорожа буквально каждым часом, проведенным в Риме за любимым трудом, между тем как Петербург страшил его перспективой заказной работы, необходимостью ради куска хлеба превратиться в купца, «торгующего дюжинными иконостасами и портретами».
«Я давно уже ненавижу Петербург с его Академией художеств,
Эта нелюбовь к Петербургу, этот страх перед столицей, как бы смутное предчувствие ожидавшей его там печальной развязки не покидали Иванова до конца жизни. Перелистывая его переписку за последние семнадцать лет, мы не раз натолкнемся на весьма недоброжелательные отзывы по адресу Северной Пальмиры, всегда сопровождаемые выражением «суеверного страха», по меткому определению Тургенева, как только заходила речь о возможном возвращении в родной город.
Большим утешением во всех невзгодах служило для Иванова в описываемое время знакомство его с Гоголем. В первый раз встретились художник и писатель в 1838 году и вскоре сошлись очень близко. С тех пор Иванов, которого никогда не удовлетворяло общество русских художников, стал проводить у Гоголя большую часть своего свободного времени. Вместе с Ивановым навещал Гоголя единственный из товарищей художника, близко с ним сошедшийся, прежний товарищ по Академии Ф. И. Иордан. Как было уже сказано выше, с остальными молодыми художниками у Иванова было очень мало общего. Посещая их дружеские собрания, он, как сам признается, старался не отставать от них только ради того, «чтобы не казаться странным», но никогда не мог всей душой отдаться их молодому беспечному веселью, их полуребяческим забавам вроде, например, игры в солдаты, которой с увлечением предавались его товарищи. Многое к тому же в их образе жизни коробило Иванова, многих легкомысленных выходок он не мог простить им в силу своей чисто аскетической натуры, не допускавшей никаких уклонений от строгих до щепетильности требований нравственности. Его, в высшей степени скромного и воздержного, шокировали их частые попойки, их кутежи, подчас довольно безобразные, их пристрастие к картам, за которыми просиживались целые вечера. Его поражало их легкомысленное и формальное отношение к занятиям, полное отсутствие у них серьезности и любви к делу.
«Свобода пенсионерская,