Когда ребенку исполнилось четыре года, семья переехала в город Тобольск в Сибири — скорее всего потому, что там жили какие-то родственники, которые обещали помочь в переселении Бейлиных за океан. В некоторых интервью через годы композитор называл Тобольск местом своего рождения, еще более запутывая тех, кто интересовался его происхождением. Разумеется, делалось это непроизвольно — просто Берлин настолько оторвался от своей родины, что забывал, где появился на свет. Берлин вспоминал, что в раннем детстве был свидетелем погрома, во время которого был сожжен его родной дом (где именно это произошло, он не писал): «Я лежу на одеяле на обочине дороги и гляжу, как догорает наш дом».
В 1893 году, получив американскую визу, Бейлины смогли оказаться в Нью-Йорке. Они поселились на Манхэттене, в районе Нижнего Ист-Сайда, который тогда отнюдь не являлся аристократическим местом — там проживала в основном беднота, причем в значительной мере недавно переселившаяся в США из Российской империи. Отец, правда, легко нашел работу по специальности — его звучный голос позволил ему устроиться в местную синагогу.
Вскоре, однако, семья столкнулась с немалыми бедами. У отца пропал голос, он был вынужден стать рабочим на мясном рынке и лишь изредка приносил домой лишние центы, заработанные преподаванием иврита отдельным людям, интересовавшимся еврейской традицией. Когда мальчик учился во втором классе публичной школы, отец умер, и Изе пришлось зарабатывать на жизнь, помогая многочисленной семье. Он разносил газеты, был мальчиком на побегушках в какой-то лавке. На людей производило впечатление, что мальчик почти постоянно пел песни и романсы, услышанные им в соседних ресторанах. Через несколько лет, когда ему исполнилось восемнадцать, он устроился на более стабильную работу официанта в одном из кафе. Именно тогда китайский хозяин кафе в нью-йоркском Чайна-тауне обратил внимание, что его юный официант почти все время поет, и использовал это к своей выгоде.
Расспросив мальчика и поверив ему, что он сам сочиняет мелодии, босс в качестве дополнительной проверки поручил ему написать какую-нибудь песенку. Так появилась первая известная песня будущего композитора «Мэри из солнечной Италии», слова к которой также были придуманы автором. Хозяин заплатил ему «гонорар» — 37 центов (впрочем, в нынешнем исчислении эта сумма приближается к десяти долларам).
Никакого музыкального образования подросток не получил. Тем не менее он научился игре на фортепиано и других инструментах, самостоятельно овладел элементарной нотной грамотой. Он стал петь на улице, принял участие в самодеятельном хоре. Очевидцы вспоминали, что по окончании работы, глубокой ночью, юноша оставался в кафе, где работал, садился за рояль и по самоучителю овладевал инструментом, одновременно сочиняя свои незамысловатые мелодии.
В девятнадцатилетнем возрасте, в 1907 году, почувствовав, что у него проявляются профессиональные способности и решив посвятить себя музыке, молодой человек собрался выпустить на заработанные деньги сборник своих песен. Сохранив отцовскую фамилию, он обозначил свое имя по-новому — Ирвинг, чтобы оно звучало по-американски. Но наборщики случайно (или намеренно) исказили фамилию, напечатав Берлин вместо Бейлин. Автор решил ничего не менять, тем более что это стоило бы дополнительно немало денег.
Так появился на свет композитор Ирвинг Берлин, вошедший в историю американской музыки.
Песни Берлина стали исполняться ресторанными певцами и певицами, а затем и солистами более высокого ранга. Ему стали заказывать мелодии с текстами. Постепенно нищенские гонорары превращались в источник немалого дохода. Берлин становился профессионалом, пользовавшимся популярностью в самых различных кругах.
Ирвинг Берлин осознал, что массовую американскую аудиторию, как представителей высшего света, так и простых работяг, интересуют элементарные мелодии со столь же незамысловатыми текстами, которые легко запоминались и могли распеваться на улице, дружеских вечеринках и т. п. Видный американский журналист Уолтер Кронкайт явно преувеличивал, но был недалек от истины, когда в статье, посвященной столетию Берлина, писал, что он «помог написать историю нашей страны, охватив лучшее, что у нас есть, и мечты, в которых воплощаются наши стремления».
Примерно на рубеже первого и второго десятилетий ХХ века Берлину стали заказывать музыку для водевилей, спектаклей, бродвейских театров. Он постепенно превращался в известного, а затем знаменитого композитора. Росшая популярность позволяла Берлину экспериментировать в музыке. Он впервые попробовал соединить две различные мелодические темы в одной песне, это понравилось публике и еще более повысило популярность композитора.
Ей способствовало и то, что в первой половине 1920-х годов США были буквально охвачены манией бытового танца, повсеместно организовывались танцевальные клубы, вошли в моду граммофоны, а затем патефоны, пластинки с записью музыки и песен стали доступными в финансовом отношении для рядовых потребителей.