Материальное положение семьи оказалось очень тяжёлым, Илья Петрович был вынужден обратиться к министру финансов с унизительным для начальника Горного округа прошением о выдаче ему 3 тысяч рублей на уплату долгов и на выезд из завода, но в этой просьбе ему было отказано. Илья Петрович вышел в отставку с пожалованием ему пенсии и чина генерал-майора. Он думал о частной службе у одного богатейшего промышленника, и надо было ехать для переговоров в Москву, да и старших детей пора было определить в учебные заведения. Самое печальное, что Фанни пришлось оставить семью Чайковских. Гувернантка и дети сжились и очень подружились и были счастливы, но Фанни не могла последовать за семейством Чайковских в Петербург. Коля и Петя должны были там поступить в пансион, а она боялась, что будет не нужна и не найдет в столице такого выгодного предложения, какое ей сделали в Воткинске богачи Нератовы, пригласив в свою семью. Расстаться с детьми ей было очень больно, потому она ушла из дома ещё до того, как проснулись дети, чтобы избежать слёз при расставании. Вечером того же дня, 26 сентября, и семья Чайковских выехала из Воткинска. Петя очень скучал, на первой же остановке он непременно захотел написать Фанни, но от горя сделал столько чернильных клякс, что письма этого не послал. Однако, приехав через две недели в Москву, Петя пишет письмо без помарок и, видимо, под диктовку взрослых: «Милая мадмуазель Фанни!.. Я уверяю вас, что каждый день вспоминаю воспитание, которое вы мне дали. В среды, помните, как я хорошо учился? в пятницы тоже, а в субботы, помните, как вы записывали, сколько у нас первых отметок в неделе. Мне хочется плакать, когда я думаю об этом…».
Описание отъезда из Воткинска мы находим и в письме Зинаиды Ильиничны к Фанни Дюрбах (уже из Москвы): «Слава богу, наше путешествие было вполне благополучно, 9 октября мы приехали в Москву … Недавно мы получили письмо от m-elle Карр. Она пишет, что в Воткинске не очень-то веселятся и в особенности в их семье. Если бы вы знали, дорогая Фанни, как они плакали, покидая нас, совсем как родные… Когда мы проезжали по улицам, крестьяне собирались и прощались с папа, называя его отец и благодетель, и видя печаль на их простых и добрых лицах, я не могла сдержать слезы».
В Москве выяснилось, что место службы, на которое рассчитывал Илья Петрович, занял человек, которому он доверил вести переговоры. Так Илья Петрович остался не у дел. Из Москвы переехали в Петербург в надежде там найти что-либо. К тому же в Петербурге было много родных, ведь Александра Андреевна была родом из этого города. По приезде Колю и Петю отдали учиться в пансион, где их встретила орава незнакомых шумных мальчишек.
С какой грустью Петя вспоминал милый Воткинск и Фанни, которая так его любила. Пете казалось, что Петербург – это сон, и вот он сейчас проснётся и окажется в Воткинске. Он очень скучал по своей любимой гувернантке, и когда пришло письмо от Фанни, Петя расплакался. Никогда в жизни он ещё не ощущал себя таким одиноким. Никто не чувствовал и не понимал его так, как Фанни.
В Петербурге Петя начал заниматься музыкой с учителем-музыкантом Филипповым, который был очень требователен и строг, но имя и отчество его отчего-то никому не запомнилось. Занятий с Филипповым прошло не так много, но они были для Пети очень полезны, он сильно продвинулся в музыке.
Однако одновременные занятия в пансионе и занятия музыкой для маленького Пети оказались тяжелы. Он похудел, побледнел, стал раздражительный. В декабре Коля и Петя заболели корью. Коля выздоровел, а Пете врачи запретили продолжать учёбу, потому, когда отец Илья Петрович получил назначение управляющим Алапаевскими и Нижне-Невянскими заводами, то Колю оставили в Петербурге, определив в пансион для подготовки к поступлению в Горный корпус, а Петя с семьёй поехал к месту новой службы отца.
2. Алапаевск. “Я все равно буду великим музыкантом!”