«Холодная война», сгустившая тучи военной угрозы над Европой и всем миром, созданные империалистам военные блоки привели нашу страну, страны народно г демократии к необходимости объединиться в оборонительном союзе. 14 мая 1955 года был заключен Варшавский Договор. Созданное в соответствии с ним Объединенное командование вооруженных сил возглавил И. С. Конез. Он стал первым Главнокомандующим Объединенными вооруженными силами Варшавского Договора, председателем Военного совета. Этот пост он занимал до 1960 года. Именно в этот период при активнейшем участии Конева и под его руководством были определены единые принципы, формы и методы в комплектовании соединений и частей, создавалась система управления войсками, решались проблемы их технического оснащения, вырабатывались совместные взгляды на перспективы развития боевого содружества братских армий. Конев вложил много труда в становление основных направлений взаимодействия вооруженных сил стран Варшавского Договора — таких, как координация планов развития армий и флотов; совместные мероприятия по боевой, политической и оперативной подготовке; взаимная помощь в подготовке квалифицированных военных кадров. В эти годы были решены многие крупные военно-политические проблемы, значительно укрепилась обороноспособность стран Варшавского Договора, повысилась боевая готовность их вооруженных сил.
В 1960 году И. С. Конев — генеральный инспектор группы генеральных инспекторов Министерства обороны СССР. Однако когда летом 1961 года происками империалистических держав был спровоцирован так называемый «Берлинский кризис», Конев был назначен главнокомандующим Группой советских войск в Германии. Опыт прославленного полководца Великой Отечественной войны пригодился для преодоления кризисной ситуации.
Выполняя ответственные задания партии и Советского правительства, Конев принимал активное участие в общественной жизни страны.
Он был делегатом ряда партийных съездов, неоднократно избирался в состав ЦК КПСС, был депутатом Верховного Совета СССР всех созывов. Конев вел большую работу по военно-патриотическому воспитанию советских людей, особенно молодежи. «Будущее страны и будущее армии, — говорил он, — в руках молодежи». И добавлял: «Хороший урожай начинается с семян». В помещении Центрального Комитета комсомола у него был свой постоянный кабинет. Он был бессменным руководителем штаба патриотических комсомольских походов, в которых сам принимал участие. И само его имя, овеянное боевой славой, служило весьма существенным фактором в военно-патриотическом воспитании советских юношей и девушек.
Писатель Борис Полевой, работавший корреспондентом на фронте у Конева в годы войны, а затем поддерживавший с ним связь долгие годы, в своей книге «Полководец», посвященной Коневу, писал: «Однажды мне довелось побывать у него сразу же после того, как он вернулся из одного такого комсомольского похода. Я ожидал увидеть усталого, утомленного человека. Шутка ли, в такие годы отгрохать на вездеходе по бездорожью сотни две километров, участвовать в разборах, целыми днями иметь дело с шумной, любопытной, задиристой публикой!
Ничуть не бывало. Я увидел перед собой загорелого, бодрого человека с молодым блеском в глазах.
— Вот кое-кто ворчит — молодежь, молодежь. Такая-то она и эдакая-то. Не в нас, мол, растет, не то у нее на уме. Слышали такое брюзжание? Некоторые литераторы тоже вокруг этой темы изрядно понатоптали. Старшее поколение, что там греха таить, любит поворчать. Мы-де другими в эти годы были, не то что наши сыновья да внуки. Чепуха! Мы, солдаты гражданской и Великой Отечественной войн, с гордостью можем сказать, что смена у нас растет замечательная и что есть у нас кому передавать дела. Вот я сейчас недолго в их походе побыл и будто живой воды хлебнул, ей-богу, с ними просто молодеешь».
Выступая перед молодыми офицерами, он всегда подчеркивал роль командира, особенно командира полка, ссылался на свой опыт командования полком: «Я с радостью вспоминаю то время, — говорил маршал, — Там, в полку, я приобрел все, что так пригодилось мне потом и в дни мира, и в дни войны. Можно сказать, в полку я набирался сил и находил самого себя. Вообще командование полком — основа военного опыта. Больше того, смею утверждать, что без практики командования полком нельзя стать настоящим полководцем».
Высокие партийные и деловые качества Ивана Степановича, беспримерное мужество и героизм в борьбе с врагами пашей Родины были высоко оценены Советским государством. Он дважды удостоен звания Героя Советского Союза, награжден орденом «Победа», многими другими орденами и медалями Советского Союза, ряда социалистических стран и других государств. И. С. Конев удостоен также звания Героя ЧССР и Героя МНР.
21 мая 1973 года И. С. Конев ушел из жизни. Урна с его прахом установлена в Кремлевской стене на Красной площади.