В 1046 году старший брат Гарольда, эрл Свейн, объединившись с Гриффидом, королем Северного Уэльса, разграбил Южный Уэльс; эта военная кампания, вероятно, имела своей целью предотвратить набеги валлийцев на Херефордшир, который входил в провинцию Свейна. Такого рода успешные грабительские походы считались обязанностью любого эрла, чьи территории располагались на границе с Уэльсом; союз с Гриффидом соответствовал обычной для англосаксов практике стравливания валлийских правителей друг с другом. Но возвращаясь назад со своим победоносным войском, Свейн повел себя совершенно неприлично. Как сказано в Англосаксонской хронике, «он повелел, чтобы к нему привели настоятельницу Леоминстера, и держал ее при себе столько, сколько ему хотелось». Иоанн Вустерский пишет, что настоятельницу звали Эдит и что Свейн в действительности хотел жениться на ней129. В таком случае за похищением, скорее всего, стояла не просто слепая страсть, а нечто более серьезное. Настоятельницами обычно становились знатные женщины130; возможно, Свейн хотел, по примеру Гарольда, приобрести родственные связи и земли в своей провинции посредством брачного союза; но если так, то он ошибся в выборе предполагаемой супруги. Каковы бы ни были его намерения, и даже при том, что он был старшим сыном эрла Годвине, его поведение выходило за рамки приличия131. Спустя примерно год он наконец отпустил женщину, возможно, под угрозой отлучения от церкви. В итоге Свейн отправился в изгнание132, перезимовал в Брюгге во Фландрии, а летом 1048 года отплыл в Данию. Могущества Годвине не хватило, чтобы спасти старшего сына от такой судьбы; хотя, возможно, влиятельному эрлу удалось отсрочить на целый год принятие решительных мер и смягчить наказание.
Данный эпизод важен по нескольким причинам. Во-первых, Гарольд присоединил к своей провинции новые территории, поскольку он и его двоюродный брат Беорн получили части бывшей провинции Свейна133. Вероятно, такое решение было принято, чтобы умерить гнев Годвине по поводу изгнания его старшего сына. Во-вторых, случившееся показывает, что влияние Годвине, сколь бы велико оно не было, имело свои пределы, и ему, как и другим, приходилось приносить собственные интересы в жертву ради сохранения согласия среди англосаксонской знати. Необходимость находить приемлемые для всех решения окажется важным фактором в последующих жизненных перипетиях и Годвине, и его сына Гарольда; но в том, как они поведут себя в подобных ситуациях, станет отчетливо видна разница между ними. Пока же из-за вопиющей дерзости Свейна союз эрла Годвине и короля дал трещину. Годвине наверняка защищал сына, несмотря на его поведение, и подобное вмешательство в сферу королевского правосудия рассердило короля. За первым инцидентом последовали другие, и за всеми этими столкновениями постепенно материализовался призрак бесплодного брака Эдуарда и Эдит.
Вторая конфликтная ситуация возникла в 1047 году, когда Свейн Эстридсен, король Дании, племянник Годвине, попросил у английского короля помощи в войне против покушавшегося на его королевство Магнуса Норвежского134. Годвине посоветовал королю отправить Свейну 50 кораблей, но Леофрик, эрл Мерсии, и другие советники выступили против, так что король в итоге решил отказать в этой просьбе. Вообще говоря, в интересах Эдуарда было отвлечь внимание Магнуса от планов вторжения в Англию; но он, видимо, боялся мести со стороны норвежского короля, если Свейн Эстридсен, несмотря на оказанную помощь, потерпит поражение. Свейн и правда вскоре проиграл Магнусу и лишился своего королевства, — возможно, именно из-за того, что король Эдуард отказался ему помочь. Годвине было неприятно, что он не только допустил изгнание сына, но также не сумел помочь племяннику; в результате отношения между ним и королем стали еще более прохладными. Не исключено, что эрл решил поддержать племянника собственными силами, поскольку Свейн, сын Годвине, в 1048 году отправился в Данию, быть может, приведя с собой какое-то количество кораблей. Известно, по крайней мере, что в 1049 году он вернулся в Англию с семью или восемью кораблями; но если отец действительно посылал его в Данию с флотилией на помощь двоюродному брату, датчан не обрадовала такая поддержка.
Тем временем второй сын Годвине, эрл Гарольд, был поглощен заботами о безопасности своей провинции; вероятно, он находился среди капитанов, предводительствовавших в 1048 году английским флотом, вышедшим из Сандуича, чтобы дать отпор пиратам из германских земель. Хотя в этом случае его имя не упоминается, известно, что он командовал кораблем в королевской флотилии на следующий год. В 1048 году германские пираты беспрепятственно разорили Эссекс, захватив добычу и пленников, так что, скорее всего, эрла в это время не было на месте; вероятно, он находился при флоте.