Так или иначе, вскоре старшие сыновья покинули семью и перебрались в Манчестер. В Англии их дела пошли хорошо, и они даже смогли материально помогать отцу и его семье. В Лейпциге Фрейды тоже долго не задержались. Не найдя там приличного заработка, они довольно скоро (около 1860 года) переехали в Вену. Здесь семья могла рассчитывать на помощь родителей Амалии. В столице Австрии Зигмунд Фрейд прожил почти 80 лет. Вообще трудно сказать, насколько тяжелым было финансовое положение Фрейдов. С одной стороны, доходы Якоба были невысоки и непостоянны. Сам ученый позже писал о том, что у него было довольно бедное детство. С другой – обстоятельства и образ жизни семьи, насколько они нам известны, не свидетельствуют о крайней нужде.
После смерти сына Амалия постоянно рожала дочерей (еще один сын, Александр, родился только в 1866 году и стал последним ребенком в семье). Так что будущий источник благополучия семья видела в старшем сыне. Сигизмунд был всеобщим любимчиком. И даже в какой-то степени превратился в домашнего тирана, по крайней мере, с его мнением и интересами считались все домочадцы. Известно, что к десяти годам у мальчика был собственный «кабинет» – отдельная узкая комнатка. Учитывая стесненные финансовые обстоятельства семьи, это была настоящая роскошь. Сестра Анна, которая была на два года младше Сигизмунда, приводила немало примеров того, каким авторитетом пользовался в семье ее старший брат. Так, она рассказывала, что когда ей было 8 лет, брат говорил, что ему мешает ее игра на фортепиано. Анне пришлось распрощаться с этим занятием. Через 7 лет первокурсник Сигизмунд просто запретил сестре читать Бальзака и Дюма, утверждая, что это недостойное чтение. А вскоре он же сказал решающее слово на семейном совете по поводу того, нужно ли юной Анне выходить замуж за пожилого, но богатого дальнего родственника Фрейдов, приехавшего погостить из России. Зигмунд заявил, что дядюшка, старый греховодник, может убираться к себе в Россию.
Образование мальчик начал получать дома, под руководством отца. Затем он учился в частной еврейской школе, а в 9 лет, на год раньше обычного срока, поступил в государственную школу Леопольдштадта – квартала, где жили Фрейды. Он учился блестяще и на протяжении всего обучения оставался лучшим учеником в классе. Особенно хорошо ему давались языки. Мальчик быстро научился читать по-английски и по-французски и, по некоторым сведениям, уже в восемь лет читал Шекспира в оригинале. Антисемитские настроения австрийцев доставили Фрейду немало горьких минут и в школе, и затем в университете. Любимым античным героем Сигизмунда скоро стал Ганнибал. Отважный полководец, предводитель карфагенян (семитов), который смог бросить вызов мощи Рима, восхищал юношу. Позже Фрейд писал: «Ганнибал был моим любимым героем в лицейские годы, когда мы изучали Пунические войны, моя симпатия <…> была на стороне не римлян, а карфагенян. В последних классах, когда я понял, какие последствия для меня будет иметь принадлежность к другой расе, и когда антисемитские склонности моих товарищей заставили меня занять твердую позицию, я еще больше оценил этого великого семитского воина. Ганнибал и Рим символизировали в моих юношеских глазах еврейскую стойкость и католическую организацию».
В 1866 году случилась довольно крупная неприятность. Брат Якоба Иосиф был осужден за производство фальшивых денег. Его задержали при попытке обменять поддельные русские банкноты. При задержании обнаружили фальшивые купюры на сумму 17 959 рублей. Иосиф был приговорен к 10 годам тюрьмы. При расследовании и на суде под подозрение попали старшие сыновья Якоба, так как Иосиф и его сообщник посещали Англию. Возникло подозрение, что именно там были произведены деньги. Кроме того, предполагалось, что целью Иосифа было не только личное обогащение, но и снабжение фальшивыми деньгами антиавстрийских революционеров в Польше. Позже Фрейд писал: «Мой отец, который за несколько дней поседел от горя, всегда говорил, что дядя Иосиф был не плохим человеком, а просто глупым». Возможно, не только неприятности с братом, но и опасение за сыновей стали причиной этой скоропостижной седины. Кроме того, сам Якоб мог попасть под подозрение. Он вряд ли имел отношение к преступным делам брата и, скорее всего, даже не знал о них. Но, испытывая некоторые финансовые трудности, Якоб пользовался помощью внезапно разбогатевшего Иосифа. Однако в конце концов для семьи Фрейда эта неприятная история закончилась относительно благополучно.