Вскоре вслед за отцом отправилась и она сама, и по собственному признанию мафиози, ее похороны он запомнил потому, что впервые за шесть лет своего проживания на земле попробовал молоко и съел куриное яйцо. После смерти матери положение мальчика осложнилось, поскольку он сразу же превратился в обузу для старших сестер и брата. Вот тогда-то на его жизненном пути и появился его дядька по материнской линии, работавший грузчиком в Кобе и скорее всего спьяну взявший сироту к себе.
Очень скоро Таока испытал на себе всю ненависть своей новой семьи, которая унижала его как только могла. Тем не менее в школу он все же пошел и уже очень скоро сделал открытие, которое во многом перевернуло всю его жизнь. Проучившись всего несколько лет, он вдруг понял, что ни знания, ни образование сами по себе не могут сделать человека богатым, а значит, и счастливым. Прав тот, кто находится наверху, и виноват всегда обездоленный.
Дядька был против учебы и отправил мальчика на судостроительный завод, откуда его очень быстро выгнали за дерзкое поведение. Так Таока очутился в ночлежке, которая принадлежала небольшой по тем временам банде «Ямагути-гуми». За эти годы он увидел многое из того, что не было предназначено для детских глаз и к пятнадцати годам сумел сделать единственный вывод: только сила и жестокость способны помочь человеку и принести ему богатство, а значит, и власть!
Разразившийся в 30-е годы мировой экономический кризис ударил и по Японии, и, чтобы хоть как-то отвлечь рабочих от тяжелой жизни, власти всячески поощряли распространение по всей стране азартных игр, помогающих забыть о недостатке хлеба. Этим сразу же воспользовалась якудза, которая открыла в Кобе несколько сотен игральных притонов. Ну а заодно бандиты выгнали хозяев баров и привели туда экзотический по тем временам американский джаз. Выросло и число публичных домов, которых было больше, чем кинотеатров. В портах наймом грузчиков и строительных рабочих теперь стала ведать якудза.
Конечно, каждой банде хотелось ухватить побольше, но постепенно на первые роли стала выходить группировка Нобору Ямагути «Ямагути-гуми». Этот уверенный в себе и очень сильный человек стал для Таоки образцом для подражания, и он решил во что бы то ни стало привлечь к себе его внимание. Он добился этого, устроив скандал на улице. Ямагути парень понравился, и он сделал из него санситу, как называли в банде ее будущих членов, находящихся на стажировке у настоящих гангстеров.
Это была жестокая школа, но Таока с честью выдержал ее и уже очень скоро отличился на подавлении забастовки портовиков. Вместе с другим гангстером он проник в штаб профсоюза портовиков и ударил ножом одного из его руководителей. Затем он принялся бить всех подряд, и лишь с огромным трудом товарищу удалось вытащить на улицу вошедшего в раж Таоку.
Правда, срок за свое преступление он все же получил. Однако ему зачли «явку с повинной», а дорогой адвокат весьма убедительно доказал, что была самая обыкновенная уличная потасовка и ни о какой попытке помешать профсоюзным деятелям выполнению их конституционных обязанностей не могло идти и речи. Суд с пониманием отнесся к судьбе молодого человека и дал ему всего один год.
В октябре 1935 года Таоку торжественно встретил у ворот покинутой им тюрьмы весь бандитский генералитет, и Ямагути произвел своего самого способного ученика в ранг «сынка». Теперь между Таокой и вершиной бандитской пирамиды оставалась лишь одна ступень — чин «брата».
После освобождения Таока возглавил эстрадный бизнес, контролируя практически все, что с ним было связано: концерты, гастроли, выступления артистов, которые должны были платить банде Ямагути дань со своих доходов. Но как видно, тюрьма ничему не научила молодого бандита — в ссоре со своим приятелем он зарубил его мечом и отправился за решетку на целых восемь лет.
Когда он вышел из тюрьмы, а это случилось незадолго до капитуляции Японии, от некогда могущественной «Ямагути-гуми», босс которой скончался от ножевых ран, осталось всего двадцать человек. В порту теперь распоряжались солдаты и жандармы, а почти все бары и кинотеатры были уничтожены американскими бомбами. Но Таока остался верен себе. Он отобрал у многодетной семьи чудом уцелевший дом и устроил в нем игорный притон. И вскоре авторитет «Ямагути-гуми» поднялся на былую высоту.
За годы войн японцы ввезли в страну из оккупированных районов Китая и Кореи около двух миллионов невольников, к которым полиция и городские власти продолжали относиться как к низшим существам. Конечно, корейцам и китайцам такое положение не нравилось, они постоянно бунтовали и весной 1946 года убили в Кобе двух полицейских начальников. Затем восставшие захватили полицейский участок и открыли двери тюрьмы, где содержались бывшие узники императорских концлагерей. Городское полицейское управление тоже оказалось в опасности. «И как это бывало и раньше, — писал в своей „Автобиографии“ Таока, — полиция обратилась за помощью ко мне».