Под влиянием Кея Джимми потворствовал своей артистической натуре. После войны он оправдал надежды семьи, начав карьеру банковского служащего. Но он также публиковал стихи под псевдонимом Пол Джеймс и написал слова к некоторым из самых популярных песен Кей. Вместе они написали партитуру к хитовому мюзиклу "Файн энд Денди". В 1920-х годах их дом на Восточной 70-й улице часто становился местом проведения пьяных вечеринок, которые посещали художники, музыканты и представители светского общества. Джимми часто возвращался домой из застегнутого на все пуговицы мира Уолл-стрит, чтобы играть роль бармена на импровизированных сборищах с участием вращающейся команды молодых талантов, включая композитора Джорджа Гершвина, который постоянно присутствовал там.
В конечном итоге брак оказался недолговечным. Отчасти из-за неверности с обеих сторон, в том числе из-за длительного романа Свифт с Гершвином, пара развелась в Рино в 1934 году. Увлечение Кей Гершвином унизило Джимми, который долгое время оставался озлобленным из-за их разрыва. По словам Вебера, "в частной беседе он злобно отзывался о ней". Он женился еще дважды и стал отцом младшего из своих семерых детей в 1959 году, в возрасте шестидесяти трех лет.
-
Пол Варбург находил Вашингтон военного времени удушающим, но по другим причинам, нежели его сын. Будучи человеком закрытым, Пол чувствовал себя неуютно в аквариуме общественной жизни. Он и Нина с неохотой принимали участие в столичных светских ритуалах - официальных развлечениях и визитах с открытками - и завязали тесные отношения лишь с несколькими парами, среди которых были Рузвельт и его жена Элеонора. "Он действительно красивый мужчина, но такой тупой", - заметила Нина о будущем президенте.
Жизнь в Вашингтоне была с ним не согласна, но Пол любил эту работу и с головой окунулся в строительство и совершенствование учреждения, которому он помог появиться на свет.
Федеральная резервная система ожила в удачный момент, вступив в бой (с еще ограниченными полномочиями), чтобы поддержать разрушенную войной финансовую систему и, как только Соединенные Штаты вступили в конфликт, стимулировать продажу военных облигаций путем предоставления низкопроцентных кредитов банкам-членам. Но война, превратившая Федеральную резервную систему в могущественного финансового игрока, нанесла травматический удар по ее самому неутомимому защитнику.
Из-за личной (немец, еврей) и профессиональной (Уолл-стрит) родословной Пола над ним с самого начала висела тень. Демократ Палаты представителей от Техаса Джо Игл подытожил шепот, раздававшийся в Вашингтоне, когда во время одного из заседаний 1916 года он лоббировал министра финансов Уильяма МакАду против назначения Варбурга на пост председателя Федерального резервного совета: "Ради Бога, скажите президенту, чтобы он не назначал Варбурга. Он еврей, немец, банкир и иностранец". В конце концов Вильсон назначил его вице-губернатором ФРС, и это решение вызвало недовольство Варбурга, который считал, что заслуживает высшего поста.
Британские и французские чиновники относились к Варбургу с подозрением, и он не оказал себе никакой услуги, открыто общаясь с графом Бернсторфом, послом Германии. Когда в конце 1916 года Федеральная резервная система выпустила циркуляр, предостерегающий банки от вложений в иностранные казначейские обязательства, изумленный британский посол поспешил на встречу с председателем правления Чарльзом Хэмлином. Сесил Спринг Райс (как и партнеры J.P. Morgan & Co.) осуждал Варбурга за это решение. Он обвинил Варбурга и Kuhn Loeb в том, что они помогли осуществить немецкую схему, чтобы лишить союзников финансирования войны и тем самым оказать давление них на мирные переговоры при посредничестве Вильсона. По словам Хэмлина, Спринг Райс утверждал, что его правительство перехватило письма, свидетельствующие о том, что "Варбург и Kuhn, Loeb & Co. составляли заговор" в этом направлении.
Примерно в это время Хэмлин жаловался в своем дневнике на Варбурга, с которым он часто конфликтовал. "Хотя он говорит честно, я не могу не чувствовать, что он настолько предубежден против союзников, что пойдет почти на любую крайность, чтобы навредить им", - писал он. В отдельной записи Хэмлин также усомнился в том, что Варбург вообще голосовал за переизбрание Вильсона. "Варбург не выказал никакого удовольствия по поводу результатов выборов - он никогда не говорил, как он голосовал. Секретарь МакАду сказал мне, что он уверен, что Варбург проголосовал за [Чарльза Эванса] Хьюза, что бы он ни говорил".