Затем Андреев оказался в Вятке, где вместе с женой жил на полулегальном положении. Их обеспечивали пайком, но скрывали от посторонних. Когда следователи по заданию Колчака составляли списки тех, кто был причастен к уничтожению Николая II и его семьи, в списках оказался и комиссар Уральского областного совета Андреев.
Список был разослан по белогвардейским штабам и отделам разведки, чтобы «разыскивать и задерживать поименованных, находящихся по ту или эту сторону фронта», и доставлять в комиссию по расследованию. Поэтому партия спрятала Андреева в безопасный Харьков, и в Москву он попал только в 1920 году, где сначала работал секретарём ВЦСПС, а затем председателем ЦК Союза железнодорожников.
В 1921 году в Москве во время дискуссии о профсоюзах он сначала был на платформе Троцкого и Бухарина. Но потом решительно поддержал Сталина, который оценил, что он «дерётся с троцкистами очень хорошо», и в июне 1924 года предложил Андреева утвердить секретарём ЦК РКП(б). Это была неожиданная и блестящая карьера для неизвестного члена партии
5 февраля 1925 года Андреев был включён в состав Комиссии Политбюро ЦК РКП(б) по вопросу о пролетарских писателях, но, в отличие от Бухарина или Фрунзе, активности в этом вопросе не проявлял, считая, что с этой задачей справляется и завотделом печати ЦК Варейкис. Андреева волновали перспективы партии.
Часть большевиков выступала за создание компартии России, но Андреева был против. Выступая в декабре 1925 года на XIV съезде партии, он заявил: «…если бы переименование нашей партии с неизбежностью должно было привести к образованию русской партии, к образованию параллельного российского Центрального комитета, то это было бы величайшим вредом для нашей партии, потому что удельный вес российской части в партии союзного значения ясен сам собой».
Тогда значительная часть партаппарата недооценивала Андреева. Однако к 1925 году он превратился в одного из самых информированных в окружении Сталина людей. Он знал, чем дышали многие сотрудники аппарата ЦК, а также все наркомы и их заместители. Андреев уже тогда стал глазами и ушами Сталина.
С 1925 по 1949 год он возглавлял тайную советскую политическую разведку, о чем в военной разведке и в НКВД даже не догадывались. Об этом знали только Сталин и Дзержинский, который, предчувствуя свою скорую кончину, в 1925 году стал передавать ему всех своих агентов влияния в элитных кругах Европы. После XIV съезда партии Андреев он не был переизбран секретарём ЦК, оставаясь только председателем профсоюза железнодорожником.
Дзержинский и Сталин оставили ему эту должность для маскировки основной его деятельности, потому что все контакты на Западе высокопоставленных представителей компартии вызывали подозрение. Зато к профсоюзным деятелям там относились благосклонно. Так, под крышей профсоюзов Андрееву мог свободно встречаться на Западе с советскими агентами влияния.
Однако 23 июля 1926 года Сталин предложил сделать Андреева кандидатом в члены Политбюро — ему понадобились дополнительные голоса в Политбюро для борьбы с Троцким, Зиновьевым и другими оппозиционерами. Затем, в 1927 году, Сталин перебросил его на Северный Кавказ для проведения коллективизации и ликвидации кулачества.
При этом Андреев продолжил курировать политическую разведку, а также включился в зачистку Кремля от нелояльных Сталину политических деятелей. Когда в конце 1930 года Сталин окончательно расправился оппозицией Рыкова, на освободившееся место председателя Совнаркома СССР он назначил Молотова, а функции второго человека в партии передал Кагановичу.
Но до Кагановича при проведении кардинальной «чистки» партаппарата он использовал Андреева, который с 22 декабря 1931 года занимал сразу три должности: председателя Центральной контрольной комиссии ВКП(б), наркома Рабоче-крестьянской инспекции СССР и заместителя председателя Совнаркома СССР.
11 марта 1931 года Андреев возглавил комиссию Политбюро, в которую вошли также Ягода и Постышев, по использованию «раскулаченных» крестьян на рудниках и лесозаготовках. Эта комиссия вскоре инициировала формирование в стране системы лагерей для ссыльных крестьянских семей.
2 октября 1931 года вождь назначил его наркомом путей сообщения и перевёл его из кандидатов в члены Политбюро. Однако весной 1932 года Андреев тяжело заболел, поэтому 27 февраля 1935 года Политбюро постановило: «1) Назначить т. Андреева А.А. секретарём ЦК ВКП(б), освободив его от работы в НКПС».
Спустя две недели, 10 марта, Политбюро, обсудив вопрос о распределении обязанностей между секретарями ЦК, решило: «а) Ввести т. Андреева А.А. в состав Оргбюро ЦК. б) Ведение заседаний Оргбюро возложить на т. Андреева, а подготовку повестки Оргбюро тт. Андрееву и Ежову. в) Поручить т. Андрееву заведывание Промышленным отделом ЦК и наблюдение за работой Транспортного отдела и Управления делами ЦК ВКП(б)».