Предполагалось, что Уиллисы уедут в конце марта, но отчасти по просьбе дочери короля принцессы Елизаветы, которую всё ещё тревожило состояние здоровья отца, и к ярости короля, они остались. Почти буквально они «похитили» своего августейшего пациента и держали его фактически в заточении до середины мая. «Я поговорил с ним, — писал Томас Уиллис, — о его состоянии и о том, что необходимо немедленно снова перевести его под строгое наблюдение. Его величество сел и очень побледнел… и глядя на меня очень сурово, воскликнул: „Сэр, пока вы живы, я вас никогда не прощу!“».
Однако к началу июня он достаточно поправился, чтобы поехать в Уэймут для дальнейшего выздоровления. «Морские купания, — сообщал он своему другу епископу Херду из Вустера 20 октября 1801 г., — как всегда, подействовали на меня благоприятно, и по правде говоря, это было крайне необходимо, так как жестокая лихорадка, которой я переболел прошлой зимой, оставила много неприятных ощущений… Они почти совсем прошли. Я вынужден быть крайне осторожным и избегать всякого переутомления…»
Через три года, в феврале 1804 г., у него был ещё один короткий приступ, снова как будто бы вызванный простудой из-за того, что на нём была мокрая одежда. Когда премьер-министр Генри Аддингтон хотел послать за Уиллисами, герцоги Кент и Камберленд, сыновья короля, отказались впустить их на территорию, сказав, что если король их увидит, это вызовет у него «такое душевное раздражение, при котором можно ожидать гораздо худших последствий». Вместо них был призван другой «доктор для сумасшедших», Сэмюэл Симмонс, врач больницы Св. Луки для умалишённых, чтобы руководить лечением короля; но он использовал такие же методы, что и Уиллисы, и король полюбил его не больше, чем его предшественников. Этот приступ, однако, длился сравнительно недолго, и к концу марта в бюллетене было объявлено, несколько преждевременно, что «его величеству гораздо лучше, и, по нашему мнению, он скоро совершенно поправится».
На самом деле король продолжал проявлять чрезмерную раздражительность, и особенно его выводил из себя этот «ужасный врач» Симмонс. Снова виги, обвиняя Уильяма Питта и кабинет в сокрытии правды о состоянии здоровья короля, начали разговоры о регентстве. Но к концу июля 1804 г. Георг был достаточно здоров, чтобы назначить перерыв в работе парламента, и снова уехал восстанавливаться в Уэймут. Его врач, сэр Фрэнсис Милман, думал, что ему лучше не купаться в открытом море. Снова напряжение сильно сказалось на его семье, приведя к фактическому разделению между королём и его женой, так как королева Шарлотта не могла заставить себя возобновить супружеские отношения, на что король, вероятно, самый добронравный из монархов Ганноверской династии, сказал в шутку, что ему, наверное, придётся завести любовницу.
Такие приступы неизбежно расшатывали здоровье короля и психическое и физическое, тем более что теперь недолго оставалось до его семидесятилетия. Какова бы ни была природа болезни короля, она нанесла непоправимый вред его организму даже после очевидного выздоровления. Бремя его королевских обязанностей по мере продолжения кровавой войны с Францией с непредвиденными политическими и экономическими последствиями для его собственного народа было для него чересчур тяжёлым. Он начал терять зрение, у него ослабела способность сосредоточиваться. В 1810 г. его любимая дочь Эмилия заболела и в конце концов умерла.
Вскоре после скромного торжества 25 октября 1810 г. по случаю пятидесятой годовщины восшествия короля на престол его болезнь вернулась. Столь критической была политическая ситуация и столь неопределённы шансы на его выздоровление, что казалось, будто повторяются события 1788–1789 гг., и лорд Гренвилл заметил в письме к лорду Грею:
«Тот приступ начинался около 22 октября, этот около 25-го. Тогда заседания парламента были прерваны до 20 ноября, теперь до 23-го… Во время приступов в 1801 и в 1804 гг. парламент на самом деле заседал, события в какой-то степени скрывались от публичного наблюдения, но в этом случае, как и в 1788 г., вопрос должен… быть поставлен на обсуждение».