Меншикову пришлось преодолеть долгий путь из своего блиставшего роскошью дворца в Петербурге в далекий сибирский Березов за тысячи верст от столицы. Там его сначала поместили в казарму местного острога, построенного для содержания государственных преступников. Придя в себя после мучительной дороги, бывший князь своими руками построил маленький домик, где и поселился вместе с детьми. (Его жена умерла по дороге в Сибирь.)
Спрятав обиды глубоко в сердце, Меншиков на судьбу уже не роптал, старался ободрять своих детей — двух дочерей и сына. Но продержался он недолго: год спустя скончался. (Его детям было разрешено возвратиться из ссылки и проживать в деревне. Бывшая невеста императора Петра II, Мария Меншикова, через несколько лет умерла от оспы.)
Итак, цесаревна Анна Петровна и ее недруг — властолюбец Александр Меншиков ушли из жизни почти одновременно. Сын Анны Петровны остался на попечении отца-герцога. Детство лишившегося матери внука Петра I прошло в замке голштинских герцогов в основном среди военных. Уже с семи лет его обучали различным правилам военного искусства, разрешали присутствовать на парадах. Мальчику это нравилось, военные премудрости он познавал охотно, проводя почти все дни в дворцовой казарме в окружении офицеров и солдат.
Когда Карлу Петеру Ульриху исполнилось одиннадцать лет, умер его отец. Оставшись вдовцом, он глубоко переживал уход из жизни своей русской жены. Он, по своему, успел к ней привязаться, был безгранично благодарен за рождение наследника-сына, но понимал, что отныне петербургский двор стал для него недосягаем. Собственно, так и случилось: со смертью Анны Петровны о герцоге и его делах вскоре в России забыли.
Незадолго до смерти в «Заметках об истории своей семьи» Карл Фридрих написал: «
Карл Фридрих больше не женился. Он вел уединенную жизнь в своих голштинских имениях. «
Опекунство над наследником взял двоюродный дядя, любекский княжеский епископ Адольф Фридрих, будущий король Швеции. Воспитание осиротевшего принца было поручено гофмаршалу Брюммеру, который установил для него настоящий казарменный порядок. Мальчик рос нервным и впечатлительным ребенком — отсутствие материнской ласки явно отражалось на его характере. Особых наук он не изучил, интереса к чтению не приобрел. Лишь игра на скрипке была ему по душе, причем играл он самозабвенно и с большим чувством. Он любил музыку и живопись, при этом обожая и все военное.
По желанию своей родной тетки, русской императрицы Елизаветы Петровны, вступившей на престол в декабре 1741 года, Карл Петер Ульрих вместе с воспитателем был привезен в Россию. Как когда-то и его мать, он прибыл в далекую, незнакомую страну, к которой он, выросший в немецком герцогстве и воспитанный в лютеранской религии, не питал никаких чувств. Императрицей ее четырнадцатилетний племянник был объявлен наследником российского престола. Его крестили по православному обычаю под именем Петра Федоровича, а в 1745 году женили на принцессе Ангальт-Цербстской Софии Августе Фредерике, получившей в православии имя Екатерины Алексеевны. Гармонии в этом браке не возникло.
Находясь в России, сын русской цесаревны Анны Петровны фактически оставался «чужим среди своих». Поближе узнать родину своей матери, выучить ее родной язык, впитать в себя истоки православной веры он не стремился. Переселение в страну, которую он никогда не считал родной, хотя она готова была дать ему царскую корону, внук Петра Великого рассматривал как ссылку. Его любовь принадлежала далекой Голштинии, где он родился и вырос.