Для организации дальнейшей обороны страны Сулейман-паша привел с восточного фронта значительные подкрепления армии Шакира-паши, но был разбит Гурко в трехдневном бою 2–4 января у Филиппополя (Пловдива). 4 января Пловдив освободили.
Не теряя времени, Гурко двинул к укрепленному Андрианополю кавалерийский отряд Струкова, который быстро занял его, открыв путь к Константинополю (Стамбулу). В феврале 1878 г. войска под командованием Гурко заняли местечко Сан-Стефано в западном пригороде Константинополя, где 19 февраля и был подписан Сан-Стефанский мирный договор, положивший конец 500-летнему турецкому игу в Болгарии. 22 января 1879 г. за этот поход Гурко наградили орденом Св. Георгия II степени (№ 118).
5 апреля 1879 г. назначен помощником главнокомандующего войсками гвардии и Санкт-Петербургского военного округа; с 7 апреля 1879 г. по 14 февраля 1880 г. занимал пост Санкт-Петербургского временного генерал-губернатора, а с 9 января 1882 г. по 7 июня 1883 г. – временный одесский генерал-губернатор и командующий войсками Одесского военного округа, а затем перемещен на пост варшавского генерал-губернатора и командующего войсками Варшавского военного округа.
Время управления им губерниями Привислинского края и командования войсками на западной границе, так называемом передовом театре войны, совпавшее со временем наиболее обостренных отношений между Россией и державами Тройственного союза, составило целую эпоху в истории российской внутренней политики в крае. Боевая подготовка войск стояла у него на первом плане, и войска жили в сознании, что они – на передовом театре войны, на боевом посту, в каком-то особенном, полумирном состоянии, которое каждую минуту могло смениться военным. Это напряженное, повышенное состояние войск переносилось ими легко и бодро, ибо войска верили в Гурко, в его полководческие качества: верный стратегический расчет, несокрушимое при влюбых обстоятельствах спокойствие духа, его твердую волю и неиссякаемую энергию.
Постоянные разъезды Гурко по округу, постоянное присутствие его на маневрах, больших и малых, всегда тщательно организованных при помощи таких начальников штаба, как Нагловский и Пузыревский, свидетельствовали войскам о постоянном хозяйском глазе, от которого ничто и нигде ускользнуть не может. И когда звучал металлический голос Гурко, произносивший властно, твердо и спокойно: «Чтоб я этого более не видел», то все уже знали, что «этого» более и не будет.
Значительное внимание уделял также фортификационной обороне Варшавского военного округа, усилив укрепления Ивангорода, Новогеоргиевска, Брест-Литовска и Варшавы, создав Варшавский укрепленный район и линию новых укрепленных пунктов (Зегрж, Осовец и др.) и покрыв край сетью стратегических шоссе. Организацией же крепостных маневров он сумел установить живую и тесную связь между войсками и крепостями. Артиллерия получила при нем обширный Рембертовский полигон. Кавалерия, предмет особого внимания Гурко, постоянно была в движении, получая задачи на лихость, быстроту движения, разведку, действия в массах и т. п. Войска втягивались в работу не только летом, на подвижных сборах и маневрах, но и зимой, производя зимние маневры, стрельбы, походные движения с ночлегом в поле, под открытым небом. Весь опыт Русско-турецкой войны был использован Гурко широко и полно в течение 12 лет командования им войсками Варшавского военного округа.
Был весьма близок и дружен с министром государственных имуществ М. Н. Островским, который использовал свое влияние на Иосифа Гурко для сглаживания острых конфликтов («пререканий») последнего на посту варшавского генерал-губернатора с министром внутренних дел графом Д. А. Толстым и военным министром П. С. Ванновским.
6 декабря 1894 г., согласно его прошению, по расстроенному здоровью был уволен от занимаемого поста с производством в генерал-фельдмаршалы «в воздаяние важных заслуг, оказанных престолу и Отечеству, особенно в последнюю турецкую войну», с оставлением членом Государственного совета, в звании генерал-адъютанта и по Гвардейской кавалерии. 9 марта 1897 г. избран почетным членом Николаевской академии Генерального штаба.
14 мая 1896 г., в день коронования Николая II, стал кавалером ордена Св. Андрея Первозванного и в том же году назначен шефом 14-й стрелкового батальона, входившего в состав 4-й стрелковой бригады, заслужившей под его началом в 1877 г. прозвище «железной бригады». Среди прочих наград удостоен орденов Белого Орла (30 августа 1882 г.), Св. Александра Невского (30 августа 1884 г., алмазные знаки к этому ордену были вручены 30 августа 1887 г.), Св. Владимира I степени (30 августа 1891 г.).
Поселившись в своем любимом имении Сахарово Тверской губернии (ныне отдельно расположенный поселок в границах города Твери), скончался здесь в ночь на 15 января 1901 г. В 1983 г. в Сахарово установлен памятник фельдмаршалу.
В «Военной энциклопедии» Сытина дана следующая характеристика Гурко: