С началом Великой Отечественной войны Шелепин был заведующим военно-физкультурным отделом горкома и занимался подбором комсомольцев-добровольцев для заброски в тыл немцев по линии фронтовой разведки — для сбора информации и проведения диверсий. В числе отобранных Шелепиным комсомольцев была и Зоя Космодемьянская. Авторы уверены, что читателям хорошо известно это имя: героическая смерть девушки стала символом мужества советских людей в годы Великой Отечественной войны.
Семнадцатилетняя «Таня», боец-разведчица группы специального назначения, входившей в состав фронтовой разведки, стала первой из восьмидесяти шести женщин — Героев Советского Союза военного периода.
Советская поэтесса Маргарита Алигер в поэме, посвященной Зое Космодемьянской, отметила и человека, «отправившего девушку на подвиг».
На историю Космодемьянской и на посвященную ее подвигу поэму обратили внимание Сталин и первый секретарь ЦК ВЛКСМ Михайлов. Уже в конце 1941 года Шелепин становится первым секретарем Московского городского комитета комсомола, а в 1952 году — первым секретарем ЦК ВЛКСМ. Эту должность он занимал шесть лет, старательно формируя свою команду для дальнейшего броска наверх.
В апреле 1958 года Хрущев назначил Шелепина заведующим отделом партийных органов ЦК КПСС. Подготовленная им записка о перестройке органов государственной безопасности способствовала тому, что на состоявшемся в декабре заседании Президиума ЦК КПСС было принято постановление о назначении Шелепина председателем КГБ при СМ СССР. При назначении на должность он отказался от генеральского звания.
Став председателем КГБ, Шелепин привел с собой преданных ему комсомольских работников, которых назначил на руководящие должности, и начал увольнять из органов тех, чья квалификация (а ее он определял по наличию какого-либо базового образования) не соответствовала, по его мнению, занимаемой должности.
С самого начала своего управления структурой КГБ Шелепин заявил: «Я хочу коренным образом переориентировать КГБ на международные дела, внутренние должны уйти на десятый план».
Считается, что Шелепин большое значение придавал внешней разведке. Так, по его указанию в ПГУ был образован африканский отдел, а чуть позже — специальный отдел для координации работы разведки и контрразведки в области электронной разведки.
В действительности же, как об этом вспоминают ветераны КГБ и внешней разведки, особой любви к Шелепину они не испытывали. По их мнению, приведя с собой достаточно большой отряд руководящих комсомольских работников, он тем самым выразил недоверие и неуважение к коллективу, которым должен был руководить.
Не зная положения дел на местах, Шелепин начал передавать служебные помещения, санатории и дома отдыха КГБ другим организациям, хотя в комнатах, где работали сотрудники, не хватало не только столов, но даже стульев, а мечтой простого оперативного работника была возможность провести летний отпуск в санатории на юге.
Да и в центральном аппарате внешней разведки положение с размещением сотрудников и с оздоровительными мероприятиями не было благополучным. Однако от столь земных материй Шелепин был очень далек.
До прихода Шелепина в КГБ отношение к африканским проблемам в разведке было довольно спокойным, так как основные направления деятельности были сосредоточены на США, Западной Европе и Китае.
Когда в августе 1960 года Шелепин поставил перед руководством разведки ряд задач по Африке, то с удивлением узнал, что в ПГУ нет самостоятельного отдела, ориентированного на африканскую проблематику. Он счел такое состояние дел проявлением политического недомыслия и дал команду немедленно создать в разведке полноценный африканский отдел и впредь активно заниматься африканскими проблемами.
Трудностей на пути создания полноценного отдела было много, и в первую очередь потому, что в стране никто не готовил специалистов по африканским проблемам, к тому же со знанием местных языков. Сложные климатические условия, отсутствие жилья, непростые взаимоотношения в руководстве молодыми африканскими государствами значительно усложняли выполнение многочисленных заданий, которые к тому же не обеспечивались реальными и конкретными исполнителями.
Начальник разведки был вынужден неоднократно обращаться за помощью к Шелепину, которого интересовала не постановка самой разведывательной работы, а ее конечный продукт — информация о развитии политических процессов в Африке и, главное, о состоянии национально-освободительного движения и столкновении интересов империалистических держав на континенте.
Умудренный опытом Сахаровский понимал, что в принципе разведка действительно запоздала с постановкой разведывательной работы в Африке. Но для получения значительных оперативных результатов необходимо было отобрать и подготовить квалифицированных специалистов. Нужно было время, а именно его и не давали. Сахаровский, как и многие другие руководящие сотрудники разведки, понимал, что Шелепин на посту председателя человек временный и что после проведения серии реорганизаций он уйдет из КГБ.