Довольно скоро эта весть добралась до царской семьи и вызвала бурю возмущения. Особенно были потрясены цесаревич Александр, его жена Мария Федоровна и обманутая императрица Мария Александровна. Высказали решительное осуждение и братья императора – Константин и Николай (у которых, вот парадокс, тоже было не все гладко в семейной жизни), и шестидесятилетняя тетка царя, великая княгиня Елена Павловна, старшая по возрасту в императорской семье. Собравшись вместе, они негодовали, возмущались и высказывали серьезные опасения, которые могли возникнуть из-за факта рождения сына царской любовницей. Они были единодушны в том, что ни Екатерину Долгорукую, ни ее сына нельзя вводить в императорскую семью. Они должны остаться вне династии. Императрица Мария Александровна, узнав о рождении Георгия, от горя заболела еще сильнее. Позицию царской семьи поддерживала вся родовая знать Петербурга.
Не успели утихнуть пересуды, как Александр II и Екатерина Долгорукая снова «учудили» – в конце 1873 года у них родился еще один ребенок. На сей раз это была девочка, названная Ольгой. Здесь семейные страсти закипели еще пуще. И самое главное: судя по всему, Александр Николаевич не собирался на этом останавливаться! Рожая третьего ребенка, Екатерина Долгорукая все еще была в таком же фальшивом положении не жены и не любовницы. Ей опять пришлось ночью тайком пробираться в царские апартаменты для родов. Третий мальчик, рожденный в 1876 году, долго не жил. Александр II со слезами на глазах сидел над умирающим Борисом, когда ему давали вдыхать кислород. Ребенок прожил всего три дня.
Такое положение не могло существовать и дальше – должна была наступить хоть какая-то развязка. И царь поступил совершенно неожиданно, чем вызвал еще большую панику в романовском семействе. Княжне Катерине Долгорукой и ее детям (Георгию и Ольге) указом Александра II в 1874 году был пожалован титул светлейших князей Юрьевских. Император не захотел оставлять их на фамилии матери, опасаясь, что род Долгоруких после его смерти отречется от них, и они превратятся в форменных бастардов. Более того, в указе дети были названы с отчеством – Георгий Александрович и Ольга Александровна. Тем самым император официально признавал, что является их отцом. При этом Александр II не передал свой указ Сенату, как было положено, а сохранил его втайне, приказав генералу Рылееву хранить его до того времени, когда придет время опубликования (этот указ держался втайне б месяцев). Видно, в чем-то он не был уверен до конца. В мае 1877 года у княжны Долгорукой родилась вторая дочь, названная Екатериной, в честь матери.
Екатерина Долгорукая постепенно отдала любимому мужчине всю себя, все чувства и мысли, заботы. Она не только стала возлюбленной императора, но сделалась для него целым миром, в котором монарх находил отдохновение от своих трудов государя. Она вместе со своим потомством перебралась на третий этаж Зимнего дворца. Из личных покоев императора на втором этаже туда вела потайная лестница, и царь, проведя вечер в кругу родных, ближе к полуночи поднимался, чтобы увидеть свою «дорогую Катрин». Ему было хорошо в ее обществе, где нужно быть не царем, а лишь мужчиной, и ощущать тихую радость семейного очага. Катерина готовила ему чай, стаскивала сапоги, окружала теплом и заботой. Царь тихо млел от счастья.
Пока императрица Мария Александровна болела, Александр Николаевич в 1878 году официально ввел Екатерину Долгорукую в семейный круг на правах фрейлины жены. У его родственников это вызвало небывалый протест. Великая княгиня Мария Павловна в одном своем письме сообщала: «Она является на все ужины, официальные и частные, а также присутствует на церковных службах в придворной церкви со всем двором… И так как княгиня весьма невоспитанна, и у нее нет ни такта, ни ума, вы можете себе представить, какое наше чувство просто топчется ногами…» В свою очередь Александр II не раз делал попытки объясниться с родственниками. В конце 1870-х годов он написал своей сестре Ольге Николаевне: «Княжна Долгорукая, несмотря на свою молодость, предпочла отказаться от всех светских развлечений… и посвятила свою жизнь любви и заботам обо мне. Она имеет полное право на мою любовь, уважение и благодарность… она живет только для меня, занимаясь воспитанием наших детей, которые до сих пор доставляли нам только радость».