Наконец, Палмерстон испортил личные отношения с королевой. Вначале молодая Виктория с уважением относилась к своему министру и прислушивалась к его советам, находила его умным и забавным. Он знакомил её со светским и дипломатическим протоколом. Он даже посоветовал ей писать обращения в письмах карандашом, чтобы можно было проверить и поправить, составил выдержку из родословной книги европейской аристократии «Готский альманах». Когда Палмерстон покидал свой пост вместе с уходящим кабинетом в 1841 году, Виктория отметила его «ценную службу». Со временем, особенно после замужества, пришло понимание того, что за забавной болтовней о пустяках скрывается желание держать главу государства в неведении по многим вопросам дипломатии. Палмерстон раздражал своим неделикатным поведением и вечной привычкой опаздывать. Однажды по его вине королевский обед задержался на час. Позднее эта неприязнь перешла практически в ненависть королевы к Палмерстону, которого она с трудом выносила и была бы рада избавиться от него. Сдержанный и обходительный лорд Абердин в качестве руководителя внешней политики нравился ей куда больше.
Пребывание в оппозиции в 1841 — 1846 гг. было довольно бесцветным. Зато с приходом вигов к власти Палмерстон со спокойным видом вернулся в Форин оффис. Премьер-министр Джон Рассел заверил королеву, что будет сдерживать Палмерстона и ограничивать его влияние. Спустя несколько дней стало ясно, насколько тщетны все эти уверения. Одной из основных проблем, с которой пришлось столкнуться Палмерстону, стала европейская революция 1848 года. Здесь английский министр решил забыть о либеральных принципах. Он просил передать царю, что поскольку Англия и Россия — две державы, не затронутых революцией, им надо держаться вместе, правительство Её Величества не будет возражать против того, чтобы царь исполнял функции «жандарма Европы». Хорошо известен его совет русскому послу в ответ на сообщение о намерении русских покончить с венгерской революцией: «Так кончайте поскорее». При этом стоны и вздохи по поводу нарушения свободы в Венгрии продолжались, лордом Палмерстоном даже были приняты вожди освободительного движения. Стремясь сохранить Австрию как великую державу, он советовал ей пожертвовать итальянскими владениями ради спасения целостности империи. Австрийский канцлер Шварценберг дал гневную отповедь: «Лорд Палмерстон полагает себя арбитром Европы. Мы не расположены предоставить ему роль Провидения. Мы никогда не навязывали ему своих советов; так пусть он не утруждается советами насчет Ломбардии… Мы устали от постоянных инсинуаций, от его тона, то педантичного и покровительственного, то оскорбительного, но всегда неуместного. Мы не намерены его больше терпеть». Княгиня Ливен, которая вначале была с ним в дружеских отношениях (но Палмерстон довольно быстро испортил их), писала по поводу его отставки: «Ни один европейский кабинет не будет тратить напрасно время на то, чтобы проливать слезы по этому поводу. Трудно найти другого такого министра иностранных дел, как он, которого бы так не могли выносить ни друзья, ни враги. Его возвращение к власти должно сделаться невозможным; кто угодно, но только не он, он не должен вернуться на Даунинг-стрит»[126]
.