11 мая 1955 года в Варшаве было созвано совещание европейских государств по обеспечению мира и безопасности в Европе. В нем приняли участие СССР, Албания, Болгария, Венгрия, ГДР, Польша, Румыния и Чехословакия. Все страны были представлены на совещании полномочными делегациями на уровне глав правительств. Все понимали, что одним из факторов, приведших к Второй мировой войне, стало отсутствие коллективной безопасности. В сложившейся обстановке только прочный военно-политический союз мог надежно обеспечить безопасность всех так называемых социалистических стран и каждой страны в отдельности.
14 мая 1955 года главы правительств подписали коллективный союзнический Договор о дружбе, сотрудничестве и взаимной помощи, который вошел в историю как Варшавский Договор. Его сердцевину составляли обязательства стран соцлагеря по совместной обороне, которые вступают в силу в случае, если не удастся ликвидировать угрозу вооруженного нападения и начнется вооруженная агрессия против одного или нескольких государств — участников Договора. Для заблаговременной подготовки к эффективной совместной обороне на случай вооруженного нападения Договаривающиеся Стороны согласились о создании Объединенного командования вооруженных сил. Первым в истории Главнокомандующим Объединенными вооруженными силами Варшавского Договора, председателем Военного совета стал Маршал Советского Союза И. С. Конев, начальником штаба — генерал армии А. И. Антонов, возглавлявший в последний год Великой Отечественной войны советский Генеральный штаб.
На Военный совет Объединенных вооруженных сил с первых дней его создания были возложены ответственные задачи организации боевой подготовки войск и оперативной подготовки руководящего состава. Определялись принципы, формы и методы установления единства в подходе к комплектованию соединений и частей, их технического оснащения, создания систем управления войсками. Вырабатывались взгляды на перспективы развития этого боевого союза, поддержания постоянных и тесных контактов между Объединенными национальными командованиями. Все это требовало творческого поиска, большой организаторской работы со стороны Главнокомандующего и его штаба. Как свидетельствуют сослуживцы Ивана Степановича, маршал работал над решением всех задач самоотверженно, с большим энтузиазмом, сплачивая вокруг себя коллектив, объединяемый единством цели.
Подводя итоги первых трех лет деятельности военной организации Варшавского Договора, И. С. Конев на совещании руководящего состава отметил основные направления развития сотрудничества вооруженных сил государств соцлагеря. Первое — координация планов развития вооруженных сил, проведение единой военно-технической политики, осуществление согласованных мероприятий по совершенствованию боевой подготовки. Второе направление, подчеркивал Главнокомандующий, охватывает совместные мероприятия по боевой, политической и оперативной подготовке, взаимный обмен опытом обучения и воспитания воинов. Третье направление — взаимная помощь в подготовке высококвалифицированных военных кадров, тесное сотрудничество политорганов союзных армий.
В течение последующих двух лет работы маршала Конева на посту Главнокомандующего Объединенными силами Варшавского Договора странами соцсодружества решались многие крупные военно-политические проблемы. Центральное место среди них занимала борьба за ограничение ядерного оружия. Все это предопределяло необходимость дальнейшего укрепления обороноспособности стран Варшавского Договора, повышения боеготовности и боеспособности их вооруженных сил.
По инициативе Ивана Степановича Конева в конце каждого года стали практиковаться заседания Военного совета, на которых всесторонне анализировались итоги оперативной и боевой подготовки за истекший год, определялись задачи для войск и флотов на следующий учебный год, согласовывались планы совместных мероприятий. Такие заседания обычно совмещались с совещаниями руководящего состава союзных армий. Это была новая форма выработки единства взглядов, способствующая квалифицированному и целенаправленному решению ставившихся на Военном совете вопросов.
Зарождались и такие формы достижения целей военного сотрудничества, как разработка и проведение совместных учений, сборов, тренировок различного масштаба — от оперативно-стратегических до войсковых и специальных. Активизируется работа по обобщению опыта Второй мировой войны, обучению и воспитанию войск национальных формирований. С 1958 года стал действовать Спортивный комитет дружественных армий.
В 1960–1961 годах И. С. Конев — генеральный инспектор Группы генеральных инспекторов Министерства обороны СССР, затем некоторое время был главнокомандующим Группой советских войск в Германии. С 1962 года и до конца жизни он вновь работал генеральным инспектором.