В 1815 году граф Абердин женился вторично на Гарриет Дуглас, дочери Джона Дугласа и вдове Джеймс, виконта Гамильтона. Этот брак оказался неудачным. Она была близкой родственницей лорда Абердина по первому мужу. Однако не могла и не хотела вписаться в его семью и вызывала бурную ревность его дочерей от первого брака. Она ненавидела родовой замок Абердинов Хэддо-хауз и решительно отказывалась туда ехать. Супруги часто ссорились, но имели пятеро детей. С 1819 года лорд и леди Абердин жили практически раздельно. Вторая жена умерла в 1833 году. К этому времени Абердин потерял и всех детей от первого брака. Позднее он признавался, что Гарриет «была определённо одной из самых глупых особ из всех, кого я когда-либо встречал»[114]
. После заключения повторного брака граф отошёл от активного участия в политике. Он занимался семейными делами, управлением поместьями. Его всегда волновали религиозные проблемы, он был глубоко верующим человеком. Сохранилась переписка Абердина с некоторыми религиозными деятелями той эпохи. Позднее он отказался войти в правительство Рассела, поскольку то проводило через парламент закон о религиозных организациях, а он не мог согласиться с ним в принципе.Возвращение в политику произошло в 1828 году, когда герцог Веллингтон формировал свой кабинет. Абердин вошёл в него в качестве канцлера герцогства Ланкастерского (министра без портфеля). Ему было поручено заниматься иностранными делами и помогать главе Форин оффис лорду Дадли. Через полгода, в июне 1828 года он сменил его в министерстве иностранных дел. Абердин был известным филлэллином и немало сделал для признания Греции и помощи этой стране. Это проявилось во время Лондонской конференции 1830 года, посвящённой греческому вопросу. Граф стремился проводить мирную политику и пытался примирить враждующие стороны в Португалии, где, по сути дела, шла гражданская война.
После падения кабинета Веллингтона лорд Абердин перешёл в оппозицию. Во время недолгого пребывания тори у власти в 1834 — 1835 годах он был министром по делам колоний и занимался вопросами Южной Африки и Канады. Затем было вновь довольно бесцветное пребывание в оппозиции. В 1841 году сэр Роберт Пиль вновь пришёл к власти, имея в палате общин прочное большинство. Абердин получил пост министра иностранных дел.
В наследство от лорда Палмерстона достались две войны в Азии, до предела обострённые отношения с Францией, угроза пограничного конфликта с США. Лорд Абердин был сторонником мирного урегулирования. Он известен как противоположность агрессивному Палмерстону, который зачастую шёл напролом в решении деликатных дипломатических проблем. Вскоре были урегулированы отношения с США, подписан договор Уэбстера-Эшбертона, определивший границу с Канадой. В 1846 году он был дополнен договором об Орегоне. Эти два трактата окончательно определили протяженность и маршрут «самой неохраняемой границы». Ему удалось установить хорошие отношения со своим коллегой во Франции Гизо, что во многом содействовало восстановлению спокойствия между двумя странами. Лорд Абердин сумел избежать осложнений и по крайне скользкому и опасному вопросу по поводу острова Таити. Правда, многие сторонники Палмерстона подняли вой в прессе и обвинили министра в пораженчестве и слабости. Это привело к тому, что сдержанный и деликатный лорд, классический образец дипломата высшего ранга той эпохи, не выдержал и подал в отставку. Правда, премьер-министр Роберт Пиль её не принял и убедил своего коллегу не принимать все так близко к сердцу.
В 1840-е годы королева Виктория довольно часто принимала гостей у себя и сама отправлялась с иностранными визитами, в частности во Францию. Абердин принимал участие в этих переговорах и установил личные отношения со многими монархами Европы. Царь Николай даже считал его своим личным другом. С королевой у него установились хорошие личные отношения, и он был одним из немногих министров, о которых она не меняла радикально своего мнения.
Во время кризиса с «хлебными законами» лорда Абердин полностью поддержал своего шефа. Он ушёл в отставку вместе с ним. Пребывая в оппозиции, граф был лидером сторонников Пиля (пилитов) в верхней палате. После смерти Пиля он стал лидером пилитов в парламенте. Лорд Джон Рассел пытался привлечь его в свой кабинет, который не имел прочного большинства, но граф отказался в связи с одним религиозным вопросом, о чём уже говорилось выше. В то же время он оставался в «самых дружеских отношениях» с лордом Дерби, по признанию последнего[115]
.