Как это часто бывает, после смерти сильного правителя созданное им государство начало рушиться. В 526 году Теодорих умер, могущество остготов пошло на убыль, чем попытался воспользоваться византийский император Юстиниан. В декабре 536 года византийские войска захватили Рим. Целью Юстиниана было вернуть италийские земли под власть Византии, которая была фактически утрачена при Теодорихе. Но уже весной следующего года готы под командованием военачальника Витигеса осадили Рим. Тяжелейшая осада длилась больше года. Византийцам удалось удержать город, но потери были огромными.
В 545 году Вечный город был вновь осажден готами, которыми на этот раз командовал военачальник Тотила. И вновь Вечный город подвергся осаде, продолжавшейся без малого полтора года. Когда в декабре 546 года готы все же взяли Рим, разъяренный Тотила объявил, что снесет его полностью и устроит на его месте огромное пастбище для скота. Но затем он, к счастью, изменил свое решение и «ограничился» лишь частичным разрушением городских стен и некоторых других сооружений. В начале 547 года Тотила увел свои войска из Рима, взяв с собой в качестве заложников всех сенаторов и приказав остальным жителям под страхом смерти покинуть город. Больше месяца (так, по крайней мере, свидетельствуют древние источники) Рим оставался абсолютно пустым.
В дальнейшем набеги на Рим следовали один за другим. Те же готы, затем лангобарды, вандалы несли Вечному городу смерть и разрушения. «Рим, этот былой властитель мира – чем он стал теперь? Покинутый своими гражданами, разграбленный своими врагами, он теперь – лишь груда развалин. Что сталось с его сенатом? Где народ его? Сената нет, народ гибнет ежедневно, здания в развалинах… И то, что мы ныне видим в Риме, теперь повсюду – опустошение, разорение и голод» – эти слова папы Григория I, с которыми он обратился к своей пастве в 594 году, наверное, наиболее точно характеризуют состояние Вечного города. В этот момент лангобарды вновь подступили к стенам города. Правда, папе удалось договориться с лангобардами, и те отступили. Вообще же именно с начала VII века римские папы остались фактически единственными защитниками проживавшего на территории Италии населения, наместники Святого престола постепенно становились не только духовными, но и светскими правителями итальянских земель. Этот процесс завершился созданием в середине VIII столетия Папского государства (Папской области). В борьбе против лангобардов и других племен папа Стефан II заключил союз с королем франков, основателем династии Каролингов Пипином Коротким. Союз этот был обоюдовыгодным: папа в 754 году в Париже совершил коронацию Пипина (что придало его власти большую значимость), а король франков, в свою очередь, предпринял несколько военных походов против лангобардов и передал в вечное пользование церкви Рим и другие итальянские земли. Окончательно завершил разгром лангобардов сын Пипина Короткого Карл Великий, благодаря которому Святой престол подтвердил свою власть на Апеннинском полуострове. И на этот раз не обошлось без взаимной выгоды – папа Лев III подарил Карлу Ломбардию, а в 800 году короновал его как короля Священной Римской империи.
Несмотря на возрождение империи, для Рима мало что изменилось. Столицей нового государства Вечный город не стал, продолжались и набеги врагов. Новая опасность угрожала с юга. Воинственные арабы (их еще называли сарацинами) обрушились на южные районы Италии еще в начале IX столетия, а в 846 году им удалось захватить Рим. Только войска князя Гвидо Сполетского, пришедшего на помощь папе, спасли Вечный город. Именно после захвата города сарацинами Святой престол был вынужден всерьез озаботиться улучшением обороноспособности как всего Рима, так и Ватикана. При папе Льве IV в 848–852 годах вокруг Ватикана была построена мощная крепостная стена и укрепления.