Одной из первых задач, с которой пришлось столкнуться Жукову-министру, была разработка плана вывода советских войск из Австрии. Территория страны, согласно подписанному 9 июля 1945 года Соглашению союзников об оккупационных зонах, была разделана на оккупационные зоны. Советская зона (не считая советского сектора Вены – 2-й, 4-й, 10-й, 20-й, 21-й, 22-й районы), включала в себя: Бургенланд, Нижнюю Австрию, Верхнюю Австрию севернее Дуная и восточнее реки Энс. Верховное командование – в Бадене в Нижней Австрии. В Вене действовали совместные англо-американо-французско-русские патрули. Порой случались и трагические эпизоды: 4 мая 1951 в центре австрийской столицы произошла перестрелка между патрулем 796-го батальона военной полиции армии США и двумя неустановленными советскими военнослужащими. Один из двух американских патрульных был убит, а советские солдаты сумели скрыться.
После принятия Декларации независимости Австрии 19 мая 1955 года и ратификации ее 27 июля державами-победительницами для вывода оккупационных войск устанавливался 90-дневный срок. Советский Союз уложился в срок, отведенный Декларацией, – 19 октября 1955 года территорию суверенной Австрии покинул последний советский солдат.
Но перед выводом войск советское правительство должно было решить, куда именно их выводить и как не ослабить позиции страны и союзников в Европе. 6 июня 1955 года Жуков отправил в ЦК КПСС докладную записку (под грифом «Совершенно секретно») о выводе советских войск из Австрии: