После рождения сына роман с Джорджем окончательно угас, что повергло Джейн в депрессию, из которой ее вывела интрижка с библиотекарем Фредериком Мэдденом в поместье деда. Тот впоследствии опубликовал воспоминания, в которых описал свои переживания от секса с леди Эленборо, сходные с ощущениями от «внезапно налетевшего урагана». Но скромный библиотекарь не мог дать простора страстям, бушевавшим в душе Джейн, тем более что ее любви стал настойчиво добиваться атташе посольства Австрийской империи в Великобритании, князь Феликс цу Шварценберг (1800–1852), отпрыск одного из самых знатных и богатых немецко-богемских семейств. Князь действовал весьма напористо, и леди Эленборо быстро сдалась. Вначале любовники скрывали свою связь, молодая женщина навещала его особняк на Харли-стрит, пряча лицо под густой вуалью, но постепенно они утратили осторожность. Сосед увидел в окно князя, зашнуровывавшего корсет Джейн, носильщик в гостинице в Норфолке, где они рискнули провести ночь, узнал их и написал письмо лорду Эленборо. Влюбленная Джейн отказала супругу от ложа под тем предлогом, что боится забеременеть, но вскоре забеременела от Феликса. Выдать этого ребенка за дитя Эленборо было невозможно.
Тем временем слухи о связи Шварценберга с женой английского парламентария достигли ушей его начальства, меньше всего желавшего, чтобы дипломат запятнал свою карьеру связью с замужней женщиной. Ему было приказано возвратиться на родину. Джейн стала упрашивать мужа разрешить ей уехать за границу для лечения нервного расстройства, а на самом деле для тайных родов. Муж отказал. Тогда Джейн вбила себе в голову, что князь – единственный человек, за которого она хотела бы выйти замуж и решила последовать за ним за границу. Родители умоляли ее не совершать этого рокового шага, но Джейн не терпела никаких возражений, и переубедить ее оказалось невозможно. Эленборо не оставалось ничего другого, кроме как затеять бракоразводный процесс, что в то время было невероятно трудным и дорогостоящим предприятием. После развода он выделил бывшей супруге очень приличные деньги, которые подлежали выплате до конца ее дней. Больше лорд Эленборо не женился, хотя сменил несколько любовниц и наплодил целую ораву внебрачных детей.
Пока неспешно тянулся бракоразводный процесс, леди Эленборо в августе 1829 года уехала в Базель, где родила дочь, окрещенную Матильдой. Однако в отношениях Феликса и Джейн возникла трещина, которая быстро и неуклонно расширялась. Князь прямо заявил, что жениться на ней не сможет, во-первых, из-за различного вероисповедания (он был католиком), а во-вторых, потому что брак с разведенной женщиной повредит его карьере. Джейн все еще цеплялась за угасавшую любовь, в результате чего вновь забеременела. Она родила сына Феликса, прожившего всего 10 суток. Тем временем, придравшись к чему-то, князь обвинил ее в неверности и навсегда расстался с ней, забрав дочь Матильду (1829–1885). Он признал ее своим ребенком и отдал под опеку сестры. Девочка так никогда и не увидела свою печально знаменитую мать. Князю же было не суждено жениться, хотя в его жизни еще приключилось несколько любовных связей. Он действительно сделал блестящую карьеру, вершиной в 1848 году которой стала должность премьер-министра Австрийской империи. К сожалению, ему не удалось долго служить отечеству в этом качестве: в возрасте всего 52 лет он скончался от апоплексического удара на заседании совета министров.
Джейн все-таки не теряла надежды вернуть возлюбленного, и по совету матери осталась в Германии, где у ее родителей были кое-какие связи. Таким образом она очутилась в Мюнхене, где была представлена королю Людвигу и немедленно покорила его. Подобно своему новому поклоннику Джейн увлекалась античностью и мифологией; они называли друг друга на греческий манер Янте и Базилий, обменивались письмами по два-три раза в день, даже если и знали, что должны увидеться. Естественно, портрет англичанки к всеобщему молчаливому негодованию вскоре украсил собой «Галерею красавиц» дворца Нимфенбург. Считается, что Джейн давала королю советы по поводу зданий, которые по его планам воздвигались в Мюнхене. Она писала Людвигу:
Памятуя историю со Шварценбергом, леди Эленборо пыталась не афишировать свою связь с королем и стала принимать ухаживания богатого землевладельца, барона Карла-Теодора фон Феннинген-Уллнер, буквальным образом преследовавшего ее. Она все еще строчила письма Шварценбергу и получала от него уверения в любви, но и только. В какую-то минуту отчаяния она отдалась барону; вскоре выяснилось, что Джейн оказалась беременна, причем так и осталось невыясненным, был ли то ребенок короля или барона. Чтобы обрести, наконец, какой-то законный статус, она приняла предложение барона и вышла за него замуж. Это дало ей право появляться при дворе и быть принятой в высшем обществе Баварии.