Мать Виктории в возрасте тридцати с небольшим лет оказалась второй раз вдовой, по существу в чужой стране, не зная языка этой страны и, главное, совершенно без денег. Но в это время скончался и дед Виктории, Георг III, и «только три пожилых дяди стояли между Викторией и короной». Денег не было, и вдова решила возвратиться в свое немецкое герцогство, где можно было как-то существовать. Но немецких родственников это явно не устраивало, ибо шансы Виктории наследовать английский престол, живя в Германии, были бы весьма шаткими. Дядя Леопольд воспротивился отъезду сестры из Англии и, будучи состоятельным человеком, дал ей средства, чтобы она могла вырастить и воспитать дочь на английской земле, как английскую принцессу. Сам он пристально наблюдал за воспитанием Виктории, его доверенное лицо Штокмар остался в семье, а когда Виктории исполнилось пять лет, ее воспитательницей стала Луиза Лехцен, дочь немецкого пастора.
Между членами этой немецкой партии шла междоусобная борьба за влияние на вдовствующую герцогиню и малолетнюю Викторию. Ситуация осложнялась тем, что одновременно действовал большой мастер интриги, честолюбивый сэр Джон Конрой. В свое время он был конюшим у герцога Кентского, а после его смерти остался в доме и занял положение «доверенного служителя» вдовствующей герцогини. Вскоре он приобрел на нее огромное влияние, целиком подчинив своей воле. В передачах Би-би-си употреблялась фраза, гласившая, что «в свете были убеждены, что герцогиня стала любовницей Конроя». Сама по себе эта ситуация была заурядной для английского придворного круга. Однако Конрой был слишком амбициозным и дерзким типом и вынашивал план, как захватить в свои руки королевскую власть. Конрой намеревался сосредоточить в своих руках закулисное влияние на английскую королеву. Он рассчитывал, что Виктория может унаследовать трон до достижения ею совершеннолетия, т. е. до 18 лет. В этом случае ее мать, находящаяся в полной власти Конроя, будет провозглашена регентшей, и Конрой станет хозяином положения. Имея власть над матерью, он рассчитывал так или иначе распространить ее и на дочь.
Доброжелатели просветили дочь относительно характера отношений ее матери с Конроем и его честолюбивых замыслов. По мере взросления у Виктории росло чувство упорного сопротивления Конрою и неприязни к нему. Когда она категорически возразила против его попытки стать ее личным секретарем, Конрой прибег к крайним мерам. Он начал распространять слухи, что Виктория психически ненормальна и не способна царствовать. Расчет был на то, чтобы повторить недавний прецедент, когда к сумасшедшему Георгу III был назначен регент. Назначение регентшей Виктории ее матери дало бы Конрою неограниченное влияние в делах английской короны.
А что же королевский двор? С июня 1830 г. после кончины Георга IV герцог Кларенский стал королем под именем Вильгельма IV. Детей — законных наследников короны у него не было. Виктория становилась первой и непосредственной наследницей. При дворе ее не любили, считая, что она вторглась со стороны и намерена заполучить не принадлежащие ей права.
При Георге IV двор был настоящим вертепом. В 1826 г. Викторию пригласили в Виндзор, где ее «дядя король» «открыто жил с последней в длинной цепи своих любовниц». Княгиня Ливен, «сверхинтриганка», жена русского посла при английском дворе, писала своему любовнику, князю Меттерниху, в Вену, что король — беспробудный пьяница, а двор — «это действительно сумасшедший дом». При Вильгельме IV буйная распущенность при дворе несколько поутихла. А добрая королева Аделаида любезно приветствовала и терпела при дворе «незаконных детей короля, всех этих Фитцкларенсов», В английском языке существует правило, по которому префикс «фитц», предшествующий имени отца, данному ему при крещении, составляет фамилию незаконнорожденного потомка короля или герцога королевской крови. В данном случае фамилия Фитцкларенс является как бы публичной декларацией того, что лицо, ее носящее, является прижитым на стороне сыном Кларенса, в свое время герцога Кларенского, ставшего затем королем Вильгельмом IV.
Мать Виктории была достаточно умной женщиной и посвятила свою вдовью жизнь воспитанию дочери. У Виктории не было даже собственной спальни — до 18 лет она спала в одной комнате с матерью. Считается, что это имело целью максимально парализовать и полностью подчинить матери волю дочери в предвидении ее возможного возвышения в будущем. Вероятно, для такой опеки была и другая причина: мать тем самым охраняла дочь от каких-либо могущих дискредитировать Викторию неожиданностей. Мать, конечно, знала о глубоком недовольстве в стране распущенностью королевской семьи и хотела, чтобы будущая наследница выглядела в глазах общества с точки зрения морали прямой противоположностью людям, обитавшим в Виндзорском замке.