Но Сталин не мог отпустить Андреева на пенсию. Он только поменял ему сферу деятельности: в марте 1946 года Андреев перестал быть секретарём ЦК, но был назначен заместителем председателя Совмина по сельскому хозяйству. Сталин ещё не успел подобрать Андрееву преемника по линии политической разведки, которому он мог бы передать свои контакты с агентами влияния на Западе.
Кому были переданы эти функции и связь с агентами влияния на Западе, неизвестно. Есть версия, что преемниками стало или Информбюро во главе с Сусловым, или руководитель ЦК ВЛКСМ Шелепин, который потом стал председателем КГБ при Брежневе и очень активно и успешно использовал возможность наших агентов влияния в Западной Европе.
Тогда мягкие коммунистические революции успешно проходили в Италии, Франции, Испании и Португалии, и только Андропов, сменивший Шелепина на посту председателя КГБ, резко свернул эту деятельность…
В конце 40‐х годов Сталин стал излишне подозрительным к своему ближайшему окружению, даже к Андрееву, которого потенциально могли сделать своим союзником другие, более амбициозные члены Политбюро. Поэтому Сталин в 1948 году распорядился арестовать его жену — Дору Хазан, которая когда-то была лучшей подругой жены вождя Надежды Аллилуевой.
Однако, пока жена сидела за решёткой, у Андреева возник роман с подавальщицей на даче Политбюро Зинаидой Десятовой, которая родила ему двух дочерей. Сталин обо всём знал, но никто скандала раздувать не стал. Правда, Десятова вынуждена была покинуть кремлёвскую дачу — ей нашли работу на заводе.
Когда у Андреева вновь ухудшилось состояние здоровья, начальник Ленсанупра Кремля профессор Егоров 11 января 1949 года предупредил Маленкова и партийное руководство, что «вопрос о полном восстановлении трудоспособности является сомнительным», и предложил Андреева отправить на полгода в отпуск, но никакие процедуры ему не помогали.
Поэтому Сталин 16 октября 1952 года на XIX съезде партии сказал: «Относительно уважаемого Андреева всё ясно, совсем оглох, ничего не слышит, работать не может, пусть лечится». Хотя Андреев ещё на что-то надеялся. После смерти Сталина судьба Андреева оказалась в руках Маленкова и Хрущёва. Они знали, что он тяжело болен, и постарались найти ему какую-то должность, лишь бы он продолжал молчать об известных ему компрометирующих материалах.
Когда в руководстве страны начались разговоры о возможном пересмотре отношения к Сталину, Андрееву это не понравилось. В августа 1953 года он выступил на пленуме ЦК в защиту имени Сталина. Поэт Твардовский записал в своем дневнике: «Были два ярких выступления милого старика Ворошилова и А.А. Андреева, как бы вставшего с одра своей многолетней болезни, которого в заключительном слове сильно поправил Маленков в вопросе о «культе личности».
Андреев выразил недоумение самой постановкой этого вопроса: мол, марксистская литература всё уже давно решила. Его поддержал репликой Ворошилов. Обрадовавшись поддержке, Андреев поспешил постановку вопроса о «культе» объявить исключительно «проделками Берии». Маленкову пришлось его поправить: «культ личности» Сталина принял в последние годы жизни вождя «болезненные формы и размеры», и он призвал к преодолению нездоровых тенденций, связанных с «культом Сталина».
После пленума Маленков и Хрущёв сделали вывод, что Андреев неуправляем и что его надо отовсюду убрать, и Андреев лишился всех должностей, оставаясь только членом Президиума Верховного Совета СССР. Однако к 60‐летию его наградили вторым орденом Ленина. Хрущёв решил, что полностью добивать верного соратника Сталина Андреева не стоит.
Только после очередного инфаркта, 26 мая 1962 года, Брежнев сообщил в ЦК: «По состоянию здоровья тов. Андрееву А.А. трудно выполнять постоянную работу. Он обратился с просьбой установить ему персональную пенсию, сохранить за ним ряд привилегий… тов. Андреев А.А. выразил желание работать в Президиуме Верховного Совета СССР в качестве советника».
В 1965 году Микоян предложил Андреева в связи с 70‐летием наградить орденом Трудового Красного Знамени. Однако член Президиума ЦК Подгорный, получив проект указа, решил: «Да, но наградить орденом Ленина», а Брежнев поддержал Подгорного.
Андреев умер 5 сентября 1971 года. Похоронен на Новодевичьем кладбище.
«Уйти с работы в Политбюро можно было только в мир иной. Единственный, кто сумел это сделать и не погибнуть, — это Андрей Андреевич Андреев, — написал историк Серго Микоян. — Даже когда он потерял слух и сказал Сталину, что ему неудобно оставаться в Политбюро, ибо он не в состоянии участвовать в обсуждениях, Сталин его отпустил на покой — в Верховный Совет РСФСР, не тронув. Другого такого случая не знаю».
Андрей Андреевич Андреев был не только многолетним верным соратником, но и серым кардиналом и ангелом-хранителем Сталина, потому что одновременно с многочисленными партийными обязанностями эффективно обеспечивал также деятельность личной партийной разведки и контрразведки Сталина. Поэтому его не посмели тронуть Берия, Маленков, Хрущев и Брежнев. Все они его чтили и награждали до самой смерти.