По неписаным законам улицы, того, кто занимался музыкой, мальчишки награждали презрительной кличкой "девчонка" или "маменькин "сынок". И Джордж был с ними солидарен. В детстве музыка мало что для него значила, так как в доме она почти не звучала. Несколько поколений Брускиных и Гершевичей так и не произвели на свет ни одного музыканта. Да и родители Джорджа не отличались особой музыкальностью.
Отец Джорджа неплохо пел, иногда ходил в оперу. Когда ему хотелось что-нибудь исполнить самому, он делал это разными, весьма необычными способами: то дул в расческу, на которую была положена полоска папиросной бумаги, то выстукивал на зубах какой-нибудь мотив английской булавкой, то голосом изображал корнет-а-пистон. Джордж знал все популярные песни, самой любимой из которых была "Обними меня, дорогая" (Put Your Arms Around Me, Honey). В его репертуаре была и так называемая "школьная" классика: "Лох Ло-монд", "Анни Лори" и "Потерянный аккорд".
Несмотря на то что он с презрением взирал на малышей, которых заставляли заниматься музыкой, и из всей музыки его, казалось, интересовали только эстрадные песенки, — серьезная музыка все же находила отклик в его душе всякий раз, когда он где-нибудь слышал ее. Ему было лет шесть, когда, играя на 125-й улице, он остановился у дешевого музыкального салончика, откуда доносились звуки музыкального автомата. Звучала "Мелодия" фа мажор Антона Рубинштейна. "Мелодия взлетала и замирала, и это настолько поразило меня, что я слушал, затаив дыхание. До сих пор, как только я слышу эту музыку, я вижу, как я маленький, босой, в широких штанах, стою и жадно ловлю потоком льющиеся звуки".
Как-то вскоре после этого случая, катаясь на роликах в Гарлеме, он услышал звуки джаз-оркестра, доносящиеся из Клуба Барона Уилкинза, где постоянно выступал Джим Юроп со своим оркестром. Волнующие ритмы и резкая пронзительная музыка произвели на него настолько сильное впечатление, что он запомнил этот день навсегда. Он как-то сказал одному из своих друзей, что его любовь к негритянским танцевальным ритмам, блюзам и спиричуэле зародилась в те годы; такие его пьесы, как "135-я улица" (135th Street) и некоторые части "Порги и Бесс", написаны под впечатлением музыки Джима Юропа.
Вспоминаются и другие эпизоды из жизни, связанные с музыкой. Когда ему было лет семь или восемь, он побывал на двух бесплатных концертах в Восточной части Бродвея, которые были организованы Обществом просвещения. Очарованный голосом соседской девочки, он воспылал к ней первой детской любовью. Продолжались походы в салон, где стоял музыкальный автомат. Достаточно было бросить в него всего одну монетку, и из гуттаперчевого раструба начинала звучать мелодия.
Но самое замечательное из всех "музыкальных" приключений произошло с Джорджем, когда ему было десять лет. Однажды он играл в мяч во дворе 25-й школы. Из открытого окна доносились звуки скрипки, исполнявшей "Юмореску" Дворжака. Это выступал на школьном концерте его товарищ, восьмилетний вундеркинд Макси Розенцвейг. С 1916 года Макси Розенцвейг, ныне Макс Розен, имел головокружительный успех на всех подмостках мира. Много лет спустя Гершвин так расскажет об этом эпизоде: "Для меня это было озарением. Внезапно я понял, что такое красота. Я решил познакомиться с этим мальчиком. В тот день прождал его возле школы с трех до половины пятого, чтобы хоть кивнуть ему издалека. Дождь лил как из ведра, и я промок до нитки. Но, увы, он не появился. Тогда я решил пойти посмотреть, нет ли его в школе. Оказалось, что Макси давным-давно ушел; должно быть, он вышел с другой стороны, там, где входили учителя. Я узнал, где он живет. Промокший так, что с меня текло, потащился к нему домой и бесцеремонно представился как поклонник его таланта. Но Макси не было дома. Я же так позабавил его домашних, что они захотели нас познакомить. Мы сразу подружились и стали неразлучны; каждый из нас, как истинный Жан Кристоф, щедро изливал на другого свою детскую любовь. И хотя мы жили всего в квартале друг от друга, писали друг другу письма, если не виделись неделю".
Макси открыл Джорджу мир настоящей музыки. Он играл ему разные произведения, рассказывал о великих композиторах, объяснял значение отдельных частей музыкального сочинения. Это разожгло любопытство Гершвина, и на Седьмой улице, в доме своего друга, у которого было фортепиано, начались первые пробы самостоятельной игры. Сначала он попытался правой рукой воспроизводить знакомые мелодии, в то время как левая тщетно старалась изобрести какой-нибудь подходящий фон. Затем он попробовал сочинять свои собственные мелодии. Одну из них он сыграл Макси. Тот сказал откровенно и вполне определенно: "Музыканта из тебя не получится, Джордж. Это уж точно".