Тем временем готы, оставшиеся в Италии, воспользовались алчностью имперских властей, настроивших поборами население Италии против Константинополя. К тому же их действиям способствовало то, что войска империи были распылены по гарнизонам, и в них совершенно упала дисциплина. Готы собрались с силами на севере Италии, избрали себе в 540 г. нового короля по имени Ильдибад, который смог, опираясь всего лишь на какую-то тысячу воинов, собрать уже достаточно крупное войско и одержать победу над двинувшимся против него войском. В мае 541 г. он, однако, был убит на пиру одним из своих телохранителей, и королем был избран Эрарих. Эрариха, пытавшегося договориться с императором, постигла та же участь, и осенью 541 г. королем стал племянник Ильдибада — Тотила. Собрав до 5000 воинов, готы нанесли поражение имперским отрядам у Вероны, Фавенции и у Муцелла около Флоренции (июнь 542 г.) и постепенно стали теснить врага, несмотря на его численное преимущество. Воспользовавшись нерешительностью имперского войска, Тотила разгромил римлян, захватив все знамена. Несогласованные действия римских командиров не смогли остановить готскую реконкисту, и вскоре почти весь Апеннинский полуостров, за исключением крупных городов в Средней Италии и на крайнем Юге, оказался снова во власти готов. Продуманная политика Тотилы привела к тому, что к нему массами стали переходить уставшие от тягостей войны и налоговых поборов местные жители, давно не получавшие жалованья солдаты-дезертиры и беглые рабы. Война свелась к серии отдельных столкновений небольших отрядов и к продолжительным осадам городов. Рим на протяжении последнего периода войны осаждали пять раз, и несколько раз он переходил из рук в руки, что все вместе привело его на какой-то период к полному обезлюдению и к гибели большинства его жителей и многих зданий. Сельское население, обираемое обеими сторонами, терпело ужасные лишения. На короткий период (осень 544— весна 546 и осень 547—осень 548) в Италию снова прибыл Велизарий с небольшими подкреплениями, но дела зашли уже слишком далеко, и без серьезных свежих сил делать там было нечего. Император же не обращал на дела в Италии должного внимания, посылая лишь небольшие силы. После того как Тотила взял Рим 17 декабря 546 г., готы контролировали уже всю Италию, кроме Равенны, Анконы и нескольких городов на крайнем Юге (Гидрунт, Кротон). Некоторое время войска империи удерживали еще устье Тибра и даже вновь заняли сам Рим, полностью покинутый населением, но были вскоре (16 января 550 г.) выбиты и оттуда. На сей раз Тотила восстановил Вечный Город и сделал его своей столицей. Готы построили флот, перенесли военные действия на море и даже стали угрожать побережью Балкан. Стратегия Юстиниана — действовать небольшими отрядами и планомерно бороться за каждый небольшой городок — не оправдала себя. Нужна была крупная армия с талантливым полководцем, который смог бы переломить ход войны в нескольких генеральных сражениях.