Перевод в Главное разведывательное управление был оформлен самым благоприятным для Серова образом. Хотя бы на словах Хрущев не хотел его обижать. В бумагах президиума ЦК говорилось о необходимости «укрепить руководство» военной разведки, о сохранении за Серовым «материального содержания, получаемого по прежней работе». Это касалось не столько зарплаты, сколько известных благ, предоставлявшихся номенклатуре: снабжения продуктами, медицинского обслуживания…
Своему зятю, Эдуарду Хруцкому, Серов потом говорил, что был счастлив, получив назначение в ГРУ.
— Как же так? — удивился Хруцкий. — Вы перестали быть членом ЦК, депутатом.
— Зато я вернулся в армию, — ответил Серов.
В военной разведке Серов прослужил четыре с небольшим года. Он оставался еще членом ЦК, но коллеги в военной разведке видели, что Серов уже не тот.
8 января 1960 года Хрущеву написал письмо генерал-майор Большаков, секретарь парткома ГРУ. Он жаловался на Серова, фактически это был опасный для Ивана Александровича политический донос:
«Никакого участия в работе партийного комитета т. Серов И. А. не принимает. Баллотироваться в состав парткома отказался. Вместо опоры на партийную организацию проявляет администрирование. На пленумах парткома не бывает. За шесть месяцев существования партийного комитета не дал ему ни одного направляющего указания или совета. Своих заместителей упрекает в том, что они идут на поводу у парткома…
Все это не содействует повышению делового и политического авторитета т. Серова среди зрелого партийного коллектива, а также создает большие трудности в работе партийной организации и партийного комитета…»
Хрущев 23 января расписал бумагу секретарям ЦК Суслову, Игнатову и Брежневу: «Надо побеседовать с т. Серовым в участием т. Большакова».
10 марта 1960 года Серов написал Суслову объяснительную записку:
«Содержание заявления тов. Большакова для меня явилось неожиданным, так как противоречит фактам… За прошедший год работы в ГРУ Генштаба я выступал 15 раз на партийных собраниях в управлениях, частях, научно-исследовательских институтах, в Военно-дипломатической академии, подчиненных ГРУ…
Я утверждаю, что ни одного месячного плана работы парткома без рассмотрения со мной тов. Большаковым не проводилось. Более того, он говорил мне, что работа в ГРУ пошла лучше… Выходит, что он во всех случаях двурушничал. Думал и писал одно, говорил другое. Так не должен поступать секретарь парторганизации…
Кстати должен доложить, что тов. Большаков и ранее доспускал поспешные, непродуманные действия. Так, работая по подготовке нелегала-женщины, женился на ней, бросив семью. Будучи военным атташе в США, не сумел организовать работу, создал склоку с сотрудниками, в связи с чем был через год отчислен и направлен в гражданский ВУЗ…
Я должен объективно доложить, что у нас в ГРУ имеются еще недостатки, над устранением которых мы коллективно работаем, но вместе с этим за последнее время с помощью ЦК КПСС решены серьезные вопросы, которые не решались ряд лет. Генералы и офицеры стали более ответственно подходить к выполнению поставленных ЦК КПСС задач, повысилась конспирация…
Коротко о себе. У меня, как у всякого человека, имеются недостатки в характере, во взаимоотношениях и т. д. Эти недостатки чаще всего проявляются в то время, когда на работе не так получается, как хотелось бы, поэтому проявляется невыдержанность и резкость. Я стараюсь устранить эти недостатки, но на нашей ответственной и острой работе не всегда удается…»
Каждый год 4 ноября большая группа офицеров российской армии, которые, судя по знакам различия, несут службу в различных родах войск, тихо и скромно, в узком кругу отмечают свой профессиональный праздник. Это офицеры-разведчики. Они ходят в форме танкистов, летчиков или артиллеристов. Они не в больших чинах, но принадлежат к закрытому для посторонних разведывательному сообществу. Здание военной разведки с легкой руки Виктора Суворова теперь именуют «Аквариумом».
4 ноября 1918 года приказом председателя Реввоенсовета Республики Троцкого в составе Полевого штаба Красной армии было образовано Регистрационное управление. Так скромно называлась военная разведка, которая теперь именуется Главным разведывательным управлением Генерального штаба Вооруженных сил. Первым начальником военной разведки был назначен член Реввоенсовета Республики Семен Иванович Аралов.
Военная разведка, как и многие другие ведомства, тоже часто меняла название.
Выросшее из Регистрационного управления Разведывательное управление штаба Рабоче-Крестьянской Красной армии было переименовано в Четвертое управление РККА. В 1934 году разведка, несколько месяцев именовавшаяся Информационно-статистическим управлением, опять стала разведывательным управлением, подчиненным непосредственно наркому обороны. В 1939-м оно уже называется Пятым управлением РККА.