И хотя он действительно не собирался ничего писать для оркестра Уайтмена, мысли об этом предложении не покидали его. И вот уже разные музыкальные идеи начали возникать в его голове. Как-то на одном из вечеров, импровизируя за роялем, он неожиданно придумал широкую, свободно льющуюся мелодию, которая — он тут же понял это — и должна была стать сердцем и душой будущего произведения; она была положена в основу медленной части "Рапсодии в голубых тонах" (Rhapsody in Blue). По дороге в Бостон, где должна была состояться премьера его мюзикла "Милый дьяволенок", под мерный стук колес, в голову приходили и другие интересные идеи. Но все это были пока разрозненные, не связанные друг с другом фрагменты, общий же план всей композиции рисовался пока еще очень смутно. И он выкинул все это из головы. Но однажды (это было в бильярдном зале Амбассадор, который находился между 52-й улицей и Бродвеем, где проходил бильярдный турнир среди композиторов; Джордж играл с Бадди де Силва) Айра (он был зрителем и в турнире не участвовал) наткнулся в газете "Геральд Трибюн." на небольшую заметку, в которой говорилось, что Гершвин работает над "джазовым концертом" для концерта Уайтмена, который состоится 12 февраля. Заметку Айра немедленно показал брату. Это объявление и неизбежность предстоящего концерта вдохнули в него новые силы. Он впервые серьезно задумался о том, что необходимо приниматься за работу. Сначала он думал написать симфонический "блюз", но затем отказался от этой идеи, так как хотел выбрать какую-то более изысканную и свободную форму. То, что он хотел написать, должно было быть достаточно ярким по форме и стилю. Вот как он писал об этом: "Было очень много болтовни об ограниченных возможностях джаза, не говоря уже о явном непонимании его функции. Джаз, говорили они, должен иметь строгий ритм. Он должен тяготеть к танцевальным ритмам. Я решил, если это мне удастся, разбить это неверное представление одним сильным ударом. Вдохновленный этой идеей, я принялся сочинять с непривычной для себя скоростью".
В конце концов он избрал форму рапсодии, так как ее классическая структура давала ему свободу в обращении с материалом. Название "Рапсодия в голубых тонах" придумал Айра на вечере в доме Лу Пейли. Когда Джордж проиграл отдельные части нового произведения своим друзьям, его спросили, как он собирается его назвать. Джордж ответил, что думает назвать его "Американская рапсодия". Но так случилось, что в тот день Айра долго рассматривал в Музее искусств Метрополитэн две картины Уистлера "Ноктюрн в голубых и зеленых тонах" и "Гармония в серых и зеленых тонах", и когда Джордж предложил в качестве возможного названия "Американскую рапсодию", Айра, все еще под впечатлением, произведенным на него цветовым решением этих картин, неожиданно воскликнул: "А не назвать ли это "Рапсодией в голубых тонах""[26]
.Айра также настоятельно советовал Джорджу сделать среднюю часть рапсодии широкой и мелодичной и выбрал из записных книжек Джорджа ту музыкальную тему, которую он потом использовал.
Гершвин начал писать "Рапсодию" в варианте для двух фортепиано 7 января 1924 года. И на все это время в квартире Гершвинов между 110-й улицей и Амстердам-авеню, куда семья переехала в 1919 году, практически "навечно" поселился Ферд Грофе. Он работал аранжировщиком у Уайтмена, и его задачей было сделать оркестровку "Рапсодии". Так как времени оставалось мало, оркестровка делалась с невероятной скоростью — целыми страницами. Как только Гершвин заканчивал очередную страницу, Грофе тут же забирал ее и отправлялся работать. Рукопись "Рапсодии" для двух фортепиано содержит пометки, сделанные рукой Грофе с предложениями варианта инструментовки и именами ведущих музыкантов оркестра Уайтмена. Грофе при оркестровке учитывал особенности техники исполнения каждого оркестранта и их индивидуальный стиль. Примерно через три недели "Рапсодия" была готова. Оркестровка Грофе для фортепиано и джазового оркестра была закончена 4 февраля. Через два года Грофе сделал новое ее переложение для фортепиано и симфонического оркестра.
В тот же день была назначена первая полная репетиция "Рапсодии", которая состоялась днем в ночном клубе Пале-Рояль. На нее было приглашено 30 человек, в том числе Вальтер Дамрош, В. Дж. Хендерсон (музыкальный критик), Эдвин Хьюз, Виктор Херберт, Леонард Либлинг (главный редактор журнала "Музыкальный курьер"), Питтс Санборн (музыкальный критик) и Х.О. Озгуд (главный редактор журнала Музыкальная Америка"). Уайтмен, взволнованный и без пиджака, подвел Гершвина к гостям и представил его. Либлинг и Санборн никогда раньше ничего не слышали о Гершвине, поэтому Озгуду пришлось объяснить им, кто он и что написал.