Наступил новый период вынужденного бездействия. Шотландия и все предприятие в целом оставили у него самые мрачные впечатления, и на какое-то время он вовсе перестал общаться с роялистами. Вначале он был радушно принят при дворе, но потом наступило охлаждение, и обещанное ему пособие в шесть тысяч ливров часто забывали платить. Его кузен Руперт (сын Фридриха Пфальцского) с прибылью занимался пиратством, но тоже не собирался делиться с родственником. Мать, увидев, что повзрослевшего сына уже вряд ли удастся держать под контролем, занялась устройством личной жизни. Не в силах, как брат, поступить на французскую службу, Карл оставался королем так называемого «призрачного двора», где королева и ее фавориты занимались мелкими интригами. Вернейшие соратники — Хайд, Ормонд, Бэкингем, — вошедшие в новый королевский совет вместе с Джермином и Уилмотом, могли посоветовать только одно: сохранять спокойствие и ждать. Во Франции бушевала Фронда, и надеяться на помощь отсюда не приходилось. В Голландии умер покровитель Карла Вильгельм II, и новое правительство объявило войну Англии. Проиграв, голландцы вынуждены были в числе других условий пообещать не пускать к себе Стюартов. Граф Норич, поехавший за помощью в Вену, привез только мизерную стипендию от одного из немецких князей.
В апреле 1654 года Кромвель окончательно победил шотландцев и вынудил их отказаться от присяги Карлу. В том же году между Англией и Францией были восстановлены отношения, планировался договор о союзе и стала вполне возможной высылка Карла и его родных. Король решил ехать в Германию; Мазарини на радостях выплатил ему остатки пособия, и даже английские роялисты скинулись для своего монарха. Карл велел казначею «призрачного двора» Стивену Фоксу строго следить за тем, чтобы впредь все расходы короны не превышали 240 фунтов в год. В июне 1654 года он прибыл во Фландрию, где встретился со своей сестрой Мэри (вдовой Вильгельма II); потом направился в Кёльн, где был радушно принят магистратом и местными иезуитами, которые надеялись возвратить короля к «истинной вере». В Кёльне Карл прожил два года и позже говорил о его жителях как о самых добрых и гостеприимных людях, каких ему доводилось встречать. Большую часть времени он читал у себя в кабинете или гулял по городу пешком, так как не имел денег на карету.
В 1655 году неудачный роялистский мятеж Солсбери заставил короля перебраться в Миддельбург, поближе к Англии. После поражения мятежа он инкогнито посетил Франкфурт-на-Майне, где встретился с экстравагантной шведской королевой Кристиной. Он пытался попросить у нее помощи, но у Кристины были свои проблемы с парламентом. Тогда Карл переориентировался на Испанию и тоже инкогнито приехал в Брюссель, где завязал переговоры с испанским наместником Хуаном Австрийским. В условиях объединения двух своих врагов — Англии и Франции — испанцы были совсем не прочь взять на службу английских эмигрантов. Маленький двор Карла переехал из Кёльна в Брюгге, и весной 1657 года был подписан договор, по которому Испания соглашалась вооружить четыре английских полка и оплачивать их содержание. Такой поворот серьезно обеспокоил режим Кромвеля; агенты Терлоу, начальника секретной службы, начали готовить заговоры. Они подкупили одного из секретарей короля Ричарда Уиллиса, чтобы попытаться похитить Карла и отвезти его в Лондон, где его, скорее всего, ждала участь его отца. Заговор не удался, но так же не удавались все попытки роялистов вторгнуться в Англию или поднять мятеж внутри нее. Весной 1658 года вооруженные сторонники Карла уже собирались в порту Дюнкерк, принадлежавшем тогда Испании, но тут англо-французский десант внезапно захватил город. Положение казалось безнадежным, когда 3 сентября умер Кромвель.
В ходе начавшейся в Англии борьбы за власть сначала робко, потом все громче стали раздаваться голоса в пользу возвращения короля. Многолетняя революция принесла жертвы и страдания многим англичанам, но не достигла того, на что надеялись ее простые участники. Богачи не торопились делить свои земли поровну между всеми «сынами Божьими», как настаивали радикальные пуритане. Не получили простые англичане и политических прав — парламент был превращен в фикцию, а диктатор Кромвель пользовался большей властью, чем король. С крайней свирепостью были подавлены восстания в Шотландии и Ирландии, а тюрьмы заполнены не только истинными врагами Кромвеля, но и теми, кто возмущался ростом цен или регулярно пропускал богослужения. Более того, в Английской республике возобновились угасшие было гонения на ведьм и вновь запылали костры. После смерти протектора власть перешла по наследству к его сыну Ричарду, но была быстро узурпирована враждующими военными фракциями.