Следует отметить, что одни из самых одиозных фигур в органах госбезопасности тридцатых годов — Генрих Ягода и Николай Ежов — до того, как стать руководителями НКВД, с 1934 по 1938 год, были подчиненными Андреева… поэтому в годы жестоких репрессий никто не смел тронуть Андреева, который руководил тайной разведкой Сталина и находился под его защитой.
Курирование Культпропа, идеологии и пропаганды и часть идеологических функций Сталин оставил Жданову. Однако после убийства Кирова он поручил Жданову, кроме обязанностей секретаря ЦК, руководство ленинградской парторганизацией, а к решению идеологических вопросов подключил Андреева. Поэтому 8 декабря 1935 года Горький предложил Андрееву рассмотреть вопрос об объединении Института русской литературы и Литвуза, а также реорганизовать Секретариат Союза советских писателей.
Летом 1936 года секретарь Союза писателей и заведующий культпропом ЦК Щербаков и Кольцов доложили секретарям ЦК Сталину, Андрееву и Ежову, что руководство «Международной ассоциации писателей для защиты культуры» собиралось созвать 20 июня в Лондоне пленум и направить туда от Союза писателей 7 человек, а также Мехлиса и Луппола для утверждения плана Международной энциклопедии культуры.
Андреев мудро переадресовал это письмо Молотову: «Как твоё мнение по этому делу. Кого послать на пленум в Лондон?» В декабре 1936 года Андреев вызвал одного из руководителей Союза писателей — Ставского, которому заявил: «Критики нет, такой критики, которая бы доносила достижения нашей литературы до широких масс страны». Поэтому 27 января 1938 года бюро секции поэтов направило к Андрееву делегацию во главе с Сурковым, считая, что только он, а не профильные отделы ЦК мог по-настоящему оценить и поддержать поэтическое слово.
Но Андреев ведал в ЦК также вопросами печати и цензуры. 3 марта 1936 года он подробно проинформировал Сталина о состоянии дел в цензуре. Он нашел там много беспорядка и засорённости чуждыми и малоквалифицированными кадрами, Главлит проводит цензуру только по РСФСР, а работников Главлита получали зарплату от тех издательств, которые контролировали.
Андреев рассматривал кандидатуры не только директоров издательств, но даже заведующим отдельными секторами. 9 января 1937 года руководитель ЦК ВЛКСМ Косарев направил Сталину и Андрееву донесение «о политически вредных настроениях среди многих беспартийных писателей». Выяснилось, что Союз писателей погряз в групповой борьбе. Кремль шли доносы на писателей, большинство которых сочиняли сами литераторы.
7 мая 1938 года Андреев доложил Сталину, что он и Жданов считают, что «положение в Союзе писателей тяжёлое и там проводится продуманная вредительская работа по дезорганизации писательской среды. Ставский во всём этом выглядит с очень плохой стороны, а поведение его было прямо подозрительным и провокационным в отношении писателей».
Но Сталин долго тянул с решением вопроса о секретаре Союза писателей и сделал в итоге ставку на Фадеева. В июле 1938 года Андреев и Берия доложили Сталину, что из большого списка подозреваемых заслуживают внимания материалы, компрометирующие писателей Новикова-Прибоя, Панфёрова Ф., Толстого А., Федина К., Якуба Коласа, Янку Купалу, Сейфуллину, Рыльского и Павленко…
Разумеется, НКВД имело компромат на всех, в том числе и на самого Андреева, но по каким-то причинам хода ему не давали. В 1939 году Андреев от дел культуры, литературы и печати отошёл, вернув курирование над идеологической сферой Жданову, что официально объяснялось состоянием его здоровья.
Партаппарату отход Андреева от проблем искусства был объяснён состоянием его здоровья. Но дело было в том, что Сталин не доверял новым структурам НКВД. Поэтому с помощью Андреева установил над ними партийной контроль, который не подчинялся ни органам внутренних дел, ни госбезопасности, а напрямую замыкался на Сталина.
Андреев из-за своего здоровья не мог претендовать на лидерство, но за время работы в аппарате накопил много информации о партийной элите высшего и среднего звена. Поэтому, когда в апреле 1939 года встал вопрос о снятии Ежова, именно Андреев выступил с резкой речью, предъявив ряд обвинений не только Ежову, но и лично Сталину: «Чего ты смотрел? Тебе же говорили, смотри. Зачем Ежова взял в заместители? Я же тебе говорил: не бери его, а ты взял».
Сталин утвердил Андреева председателем Комитета партконтроля при ЦК, одновременно оставив его ещё и секретарём ЦК. Но в действительности он по-прежнему возглавлял не только всю партийную контрразведку, но и работу с агентами влияния, занимавшими большие посты в странах Запада. В начале войны Сталин вновь подключил Андреева к проблемам работы транспорта, особенно — к военным перевозкам. Потом поручил ем курировать сельское хозяйство.
Когда после войны состояние здоровья Андреева резко ухудшилось, в ноября 1945 года он сообщил Молотову и Маленкову, что у него «ухудшилось состояние слуха, сопровождаемое постоянным шумом в голове, что сильно мешает в работе. Я просто уже перестаю слышать разговорную речь, особенно на заседаниях».