Можно отметить еще одну сторону его характера. Один современный Эдуарду хронист писал, что король имел пристрастие к «оживленной компании, роскоши, дебоширству, экстравагантности и чувственным удовольствиям». Для монарха это вовсе не смертные грехи, а, напротив, правильные установки, необходимые, чтобы поддерживать власть и величие. В следующем предложении, как бы то ни было, хронист переходит к восхвалению прекрасной памяти Эдуарда и его внимания к деталям. Но однажды Эдуард принял решение, связанное с его личной жизнью, и оно имело довольно серьезные последствия. Весной 1464 года он тайно вступил в брак с женщиной, в чьих жилах не текла королевская кровь, и этот брак говорил скорее о его страсти, чем о стремлении к справедливости. Елизавета Вудвилл была вдовой с двумя детьми, и, в отличие от большинства королевских невест, она являлась англичанкой. Как бы то ни было, она не относилась совсем уж к простолюдинам, поскольку ее отец был рыцарем, а мать — вдовствующей герцогиней. Рассказывали, что, решив, что она станет королевой, а не королевской любовницей, Елизавета сопротивлялась посягательствам короля. Эдуард был известен своей любвеобильностью и множеством сексуальных связей, но, кажется, Елизавета была первой, кто ему отказал. При европейских дворах ходили слухи, что в отчаянии он даже приставил ей нож к горлу. Тем не менее Елизавета была неприступна, пока не добилась получения статуса, который ее устраивал.
Выбор короля стал причиной некоторого разочарования среди тех, кто считал, что король должен жениться только на особах королевской крови. Тот факт, что Эдуард вступил в брак с Елизаветой тайно, бежав от своих придворных в первый день мая 1464 года под предлогом того, что отправился на охоту, позволяет предположить, что он сам сознавал, что совершает мезальянс. Также считалось, что предпочтительнее жениться на девственнице. В письме с новостями из Брюгге, написанном осенью 1464 года, говорится, что «бо́льшая часть лордов и народа, кажется, весьма разочарована этим браком и изыскивает средства, чтобы его аннулировать, все аристократы держат большой совет в городе Рединге, где находится король». Ричард Невилл, граф Уорик, уже начал переговоры с французским королем по поводу женитьбы Эдуарда на свояченице Людовика XI. Теперь все эти планы пошли прахом. «Совещания» лордов были совершенно бессмысленны. Как отмечал друг Уорика, «мы должны быть терпеливы друг к другу». 29 сентября 1464 года Уорик и герцог Кларенс, младший брат короля, сопроводили Елизавету Вудвилл в часовню аббатства в Рединге, где собравшиеся аристократы чествовали ее как законную королеву.
Следующим летом Генрих VI был захвачен в плен; после поражения в Таутоне он скрывался в Шотландии и в замках оставшихся ему верными людей в Северной Англии. Он фактически являлся королем в изгнании, настолько незаметным, что Эдуард даже не был уверен, в каком именно графстве прячется Генрих. Маргарита же нашла убежище в землях своего отца в Анжу. Старого короля заметили на обеде, который его сторонники давали в Рибблсдейле; он бежал из этих мест, но был предан монахом. В конце концов Генриха схватили в лесу под названием Клитервуд, практически на границе Ланкашира, и привезли в Лондон на лошади, привязав его ноги к стременам; рассказывали, что на нем была соломенная шляпа и какие-то злобные горожане бросали в него мусором. Следующие пять лет Генрих оставался в Тауэре с небольшим штатом придворных, которые должны были прислуживать узнику, известному просто как Генрих Виндзорский.
Семья новой королевы, Вудвиллы, приобрела влияние при дворе и могла стать угрозой положению Уорика и других Невиллов. Также король организовал ряд браков между близкими родственниками Елизаветы и различными аристократами; поскольку у нее было пять братьев и семь сестер, то эти браки уничтожили перспективу построения родственных связей для многих более видных семей. Младший брат Елизаветы, к примеру, в возрасте двадцати лет женился на шестидесятипятилетней герцогине Норфолк; герцогиня была богатой вдовой, уже успевшей похоронить трех мужей, также она являлась и теткой самого Уорика. О чувствах Уорика по поводу того, что в те времена описывали как «дьявольский брак», история умалчивает. В мыслях он мог рассудить, как говорилось на языке того времени, что честь его семьи запятнана и что его пожилая родственница выставлена на посмешище. На деле пожилая леди пережила своего юного супруга, который кончил жизнь на плахе. Людовик XI предал огласке тот факт, что он получил письмо, где описывалось разочарование Уорика поведением Эдуарда; он даже намекал, что Уорик может пытаться свергнуть своего суверена, но все это пропало в тумане дипломатических предположений и фразерства. Французский король прославился прежде всего тем, что его прозвали «король-паук».