Арктическая навигация 1946 года выдалась тяжёлой. В это самое ответственное для меня время я свалился с приступами стенокардии. Врачи настаивали на длительном лечении. В июле я уехал с Галиной Кирилловной в санаторий «Кемери» на Рижском взморье, поручив ГУСМП своим заместителям В.Д. Новикову и А.Е. Каминову. Оценив реально свои возможности, я решил просить правительство освободить меня от должности начальника Главсевморпути». (Папанин, 1977).
В начале 1946 года на даче Афанасьева раздался звонок по телефону «ВЧ». Звонил заместитель Председателя Совнаркома А.Н. Косыгин, предложивший Александру Александровичу незамедлительно прибыть в Москву. В Кремле они вместе зашли в кабинет К.Е. Ворошилова, курировавшего Главное управление Северного морского пути. Здесь Афанасьеву было объявлено, что И.Д. Папанин освобождён от должности начальника Главка.
Это было неожиданно. Папанин, кумир народа, герой Арктики, дважды Герой Советского Союза, здоровяк, вхожий к членам правительства, считал себя неуязвимым и не раз рассказывал, что бывал гостем у Сталина на семейных торжествах в узком кругу.
Мнение М.И. Шевелёва:
«Бывает так: человек силой обстоятельств оказывается вознесённым высоко, и у него, естественно, возникает психологическая установка, возможно, им самим до конца не осознанная, что дело не в том, что создались объективные условия, которые помогли вывести его на гребень волны, а что в этом только его заслуга. И некоторые люди теряют к себе критическое отношение. Я наблюдал это не раз. Такой же процесс произошел и с Папаниным». (Шевелёв, 1999).
И ещё одно воспоминание А.А. Афанасьева:
«Приезжал Папанин, который привёз целый мешок замороженных, отлично сохранившихся фазанов.
– На Кавказе охотился, шесть колхозов моего имени стреляли фазанов, вот привёз и развожу своим друзьям, товарищам… Прицепили к пассажирскому поезду рефрижераторный вагон, погрузили, заморозили и доставили в Москву…
– А Мехлиса ты не боишься? Он тебе как следует всыплет, – шутя сказал я.
– Нет, не боюсь. Папанину ещё никто не всыпал!
Забегая вперёд, скажу, что «номер» этот дорого ему обошёлся – «всыпали», да ещё как!». (Афанасьев, 2003).
Далее Афанасьев описывает свою встречу со Сталиным и Косыгиным:
«Считая, что вопрос решён, он (Сталин) неожиданно обратился к Косыгину:
– Зачем Папанин строит такую большую дачу? Спросите его, в чём он нуждается?
Косыгин подтвердил, что всё будет исполнено. Мы вышли из кабинета Сталина и направились к нему. Алексей Николаевич приказал соединить его с Папаниным, который отдыхал в Риге. Косыгин сообщил Ивану Дмитриевичу о решении Сталина и передал мне трубку.
По голосу Папанина можно было почувствовать всю глубину его переживаний. Внезапность решения Сталина, в которого он верил, как в бога, гордился его поддержкой, ошеломила Ивана Дмитриевича. Он был крайне растерян.