В Лондоне ему жилось не сладко. Казалось бы, страна, приютившая его и предоставившая средства для великого предприятия, должна была вызывать у него лишь чувство благодарности. В действительности происходило нечто противоположное. Де Голль быстро понял, что Лондон стал колыбелью «Свободной Франции» не из-за добрых чувств Черчилля, а из-за его циничного расчета. Не случайно, восхваляя британского политического деятеля в своих мемуарах, он не упускает ни одной возможности подчеркнуть, например, его «двусмысленные обещания и наигранные эмоции». Вообще, самые яркие страницы этих мемуаров посвящены язвительному описанию коварства и дьявольской изощренности британской дипломатии, не говоря уже об особенно раздражавшей его Интеллидженс сервис. Создается впечатление, что все английское начинает вызывать у де Голля антипатию. «В самом сердце Англии, которая была тверда и непоколебима, — вспоминал он, — нас окутывал ледяной холод». Однако намерение де Голля перевести свою штаб-квартиру в Браззавиль или в Бейрут не осуществилось, и он, вернувшись с Востока, безвыездно находился в Лондоне около десяти месяцев. Слишком во многом он зависел от англичан. Деньги, информация, средства связи, вооружение, даже возможности передвижения — все шло от них. К тому же отсюда легче было установить связи с метрополией, столь необходимые теперь, когда надо было опираться на внутреннее Сопротивление. По-прежнему он одиноко жил в отеле «Кон-нот», а субботы и воскресенья проводил с семьей, жившей сначала в Шропшире, а затем в другом пригороде — Беркхэмстеде, в 40 километрах от Лондона. Позже семья поселилась в Лондоне, в районе Хэмпстед. Собственно, их было трое, генерал, мадам де Толль и дочь Анна, ибо сын Филипп после поступления в морскую школу плавал и воевал на корвете «Розелис», а потом на торпедном катере «9в», где был помощником командира. Дочь Элизабет жила в католическом пансионе «Дам де Сион», готовясь к поступлению в Оксфорд.
Аппарат «Свободной Франции» давно уже переселился из небольшого помещения Стефенс-хауз в отель «Карлтон-гарденс», где сначала он занимал один этаж, потом все здание, а постепенно и оно оказалось тесным и многие бюро размещались в разных концах Лондона. К началу 1941 года гражданский аппарат «Свободной Франции» насчитывал 96 человек, военный — 280 офицеров и солдат, кроме 70 гражданских служащих. Де Голль не баловал своих сотрудников высокими окладами; в зависимости от ранга все получали от 15 до 30 фунтов стерлингов в месяц. С осени 1941 года деятельность этого сравнительно небольшого аппарата начинает напоминать работу правительства. В зале с часами «Карлтон-гарденс» регулярно, не реже одного раза в неделю, происходят под председательством де Голля заседания Национального комитета, члены которого как бы выполняют роль министров. Но их функции чисто совещательные и исполнительные. И царствует, и управляет один генерал, его решения не подлежат критике. «Ни один из национальных комиссаров, — писал де Голль, — никогда не оспаривал моего окончательного решения… ответственность целиком лежала на мне. В борьбе за освобождение мне, бедняге, приходилось всегда в конечном счете отвечать за все».
Правда, однажды произошел бунт, который устроил адмирал Мюзелье, считавший, что политика де Голля угрожает дружбе с союзниками. Вернувшись в Лондон после занятия острова Сен-Пьер, он в марте 1942 года подал в отставку с поста комиссара военного и торгового флота. Но он хотел остаться командующим флотом «Свободной Франции». Английское правительство официально поддержало Мюзелье, и это окончательно взбесило де Голля. Он резко отклонил очередное английское вмешательство, пресек попытки Мюзелье поднять против де Голля офицеров флота, и участие адмирала в делах «Свободной Франции» прекратилось.
Между тем болезненные трения в отношениях с английским правительством происходят непрерывно. Весной 1942 года противоречия снова вспыхивают в Сирии и Ливане. Англичане упорно препятствуют попыткам де Голля установить свой контроль над Французским Сомали. А затем происходит событие, которое довело возмущение де Голля до крайности. В 3 часа ночи 5 мая 1942 года ему сообщили, что английские войска высадились на Мадагаскаре. Англичане не посоветовались предварительно с де Голлем, который сам предлагал в это время изгнать губернатора Виши с острова, превышавшего своим размером территорию Франции. Когда де Голль потребовал от Идена объяснений, то услышал в ответ туманное обещание обеспечить участие «Свободной Франции» в управлении Мадагаскаром. Де Голль направил тут же на остров своего представителя, но англичане помешали этой поездке и сохраняли на Мадагаскаре власть вишистского губернатора. Тогда, 6 мая, де Голль заявил английскому правительству, что он прекратит сотрудничество с Англией и США, если они посягнут на какую-либо часть французских владений.