В отличие от своих предшественников, рассматривавших руководство столь серьезным государственным ведомством лишь как очередную ступеньку карьерной лестницы, Андропов начал работу с изучения истории деятельности органов госбезопасности СССР, теории и методики разведки и контрразведки. Он считал необходимым осмысление опыта, конкретных задач, форм и методов борьбы КГБ с постоянно модифицируемой разведывательно-подрывной деятельностью иностранных спецслужб против СССР.
Для этого приказом Андропова 19 августа 1967 года была учреждена Группа консультантов при Председателе КГБ с общим штатом в десять человек. В состав группы вошли известные профессионалы, хорошо знавшие все направления деятельности Комитета госбезопасности: разведку, контрразведку, охрану государственных тайн и государственной границы СССР. Эта структура, при существенном возрастании статуса ее членов, помогавших председателю КГБ готовить решения, стала преемницей ранее существовавшей Группы при председателе КГБ по изучению и обобщению опыта работы органов госбезопасности и данных о противнике.
Как отмечал Юрий Владимирович (и это, заметим, по-прежнему актуально звучит и сегодня), данный «опыт мы должны высоко ценить, настойчиво и творчески обогащать. На его основе мы должны и обязаны неизменно владеть инициативой в противодействии с противником на всех направлениях, навязывать ему свою волю и условия борьбы, активно воздействовать на негативные процессы в выгодном для нас плане. Здесь важен учет требований текущего момента, средств и методов, использующихся противником, и конкретных задач, решаемых органами госбезопасности».
Первое публичное выступление председателя КГБ Ю. В. Андропова по поручению Политбюро ЦК КПСС состоялось 20 декабря 1967 года на торжественном собрании в Кремлевском дворце съездов.
Его особая общественно-политическая значимость определялась тем, что полувековой юбилей образования органов ВЧК — КГБ СССР предполагал необходимость дать политическую оценку их деятельности и роли в истории страны в предыдущие годы.
Новый председатель КГБ заявил, что важнейшими для деятельности чекистских органов должны оставаться принципы беззаветной преданности делу революции, тесной связи с народом, непоколебимой верности партии и Советской власти, твердость в борьбе с классовыми врагами и высокий пролетарский гуманизм.
Но, продолжал Андропов, «мы не вправе забывать и то время, когда политические авантюристы, оказавшиеся у руководства НКВД, пытались вывести органы госбезопасности из-под контроля партии, изолировать их от народа, допускали беззаконие, что нанесло серьезный ущерб интересам нашего государства, советских людей и самих органов безопасности. За последние годы наша партия провела огромную работу по укреплению социалистической законности. Были ликвидированы извращения и в работе чекистских органов… Таким образом наша партия ясно показала: нет и не может быть возврата к каким бы то ни было нарушениям социалистической законности. Органы государственной безопасности стоят и будут стоять на страже интересов Советского государства, на страже интересов советских людей».
В дальнейшем еще лишь единожды, 9 сентября 1977 года, в докладе, посвященном столетию со дня рождения председателя ВЧК Феликса Эдмундовича Дзержинского, Андропов вновь подчеркнул: «Известно, что отдельные годы были омрачены незаконными репрессиями, нарушениями принципов социалистической демократии, ленинских норм партийной и государственной жизни. Эти нарушения были связаны с культом личности и противоречили существу нашего строя, характеру политической системы социалистического общества. Но они не могли приостановить поступательное движение социализма. Партия решительно осудила и искоренила подобные нарушения, создав твердые гарантии соблюдения социалистической законности». (Доклад этот, как и предыдущий, был опубликован в печати, а затем выпущен отдельной брошюрой.)
В своем программном выступлении 20 декабря 1967 года председатель КГБ СССР особо подчеркивал, что «империализм не гнушается никакими приемами и средствами в тайной борьбе против народов. Он организует и поощряет реакционные перевороты, путчи и провокации, пускает в ход дезинформацию и клевету. Разведывательные органы служат ему не только для осуществления шпионажа и совершения диверсионных актов, но и для достижения политических целей. Перед разведками ставится задача добиться ослабления могущества социалистических стран, расшатывания их единства, их сплоченности с силами рабочего и национально-освободительного движения. Советские органы государственной безопасности совместно с соответствующими органами братских социалистических стран дают отпор этим враждебным проискам».