Юлиус был экстравертом и обожал разговоры. Любил искусство и музыку, считая Героическую симфонию Бетховена «одним из величайших шедевров». Друг семьи философ Джордж Боас впоследствии вспоминал, что Юлиусу «была присуща тонкость восприятия обоих его сыновей». Боас считал отца Роберта одним из добрейших людей, которых он когда-либо встречал. Иногда к смущению детей Юлиус вдруг начинал распевать за обеденным столом. Любил поспорить. Элла, наоборот, вела себя тихо и никогда не участвовала в шутливых пикировках. «Она [Элла] была очень утонченной личностью, – сообщил еще один друг Роберта, известный писатель Пол Хорган, – …с очень приглушенной эмоциональностью и всегда вела себя за столом и в других местах с крайней изысканностью и приличием, однако [оставалась] грустной натурой».
Через четыре года после рождения Роберта Элла родила еще одного сына – Льюиса Фрэнка Оппенгеймера, однако младенец вскоре умер от стеноза привратника желудка – врожденной обструкции прохода между желудком и тонкой кишкой. От горя Элла выглядела еще более хрупкой. Роберт в детстве часто болел, отчего мать чрезмерно его опекала. Опасаясь микробов, она держала сына подальше от других детей. Ему не разрешалось покупать еду у разносчиков на улице; вместо того чтобы отправить его в парикмахерскую, парикмахера вызывали на дом.
Замкнутый по натуре и физически неразвитый Роберт провел раннее детство в уютном одиночестве маминого гнезда на Риверсайд-драйв. Между матерью и сыном навсегда установились глубокие отношения. Элла поощряла в Роберте художника, и он писал пейзажи, но, поступив в колледж, бросил живопись. Роберт боготворил мать. В то же время Элла умела настоять на своем. «Эта женщина, – вспоминал один друг семьи, – никогда не позволяла говорить за столом о чем-либо неприятном».
Роберт быстро сообразил, что матери не нравятся знакомые отца из мира торговли и коммерции. Разумеется, большинство деловых партнеров Юлиуса были евреями в первом поколении; Элла давала сыну понять, что ее коробит от их «навязчивости». Роберт больше других мальчишек рос, колеблясь между строгими порядками матери и компанейскими замашками отца. Иногда он стыдился отцовской непосредственности и одновременно чувствовал себя виноватым за то, что испытывал стыд. «Велеречивые и подчас шумные проявления гордости Юлиуса за своего сына страшно раздражали Роберта», – вспоминает один друг детства. Уже повзрослев, Роберт подарил своему другу и бывшему учителю Герберту Смиту красивую гравюру со сценой из «Кориолана» Шекспира – герой отрывал от себя руки матери. Смит не сомневался, что Роберт намекал, как трудно ему далась разлука со своей матерью.
Когда ему было пять или шесть лет, Элла заставляла сына учиться игре на фортепиано. Роберт послушно упражнялся каждый день, ненавидя это занятие всей душой. Прошло около года, и он заболел. Мать, как водится, заподозрила худшее – детский паралич. Ухаживая за сыном, она каждый день спрашивала, как он себя чувствует, пока Роберт однажды не глянул на нее с кровати и не пробурчал: «Как во время урока музыки». Элла сдалась, занятия фортепиано прекратились.
В 1909 году, когда Роберту было всего пять лет, Юлиус взял его с собой в первое из четырех трансатлантических путешествий погостить у деда Беньямина в Германии. Отец и сын повторили вояж два года спустя. К тому времени Беньямину шел семьдесят шестой год, и все же дед произвел на внука неизгладимое впечатление. «Я понял, – вспоминал потом Роберт, – что одним из его любимых в жизни занятий было чтение, хотя он почти не учился в школе». Однажды, наблюдая, как Роберт играет в кубики, Беньямин решил подарить мальчику энциклопедию архитектуры. Дед также подарил ему «совершенно обыкновенную» коллекцию минералов – ящик с двумя десятками образцов с этикетками на немецком языке. «С этого момента, – вспоминал Роберт, – я, как это свойственно детям, превратился в азартного коллекционера». Вернувшись в Нью-Йорк, он уговорил отца взять его на «охоту за минералами» в Палисейдс. Вскоре в квартире на Риверсайд-драйв негде было повернуться от образцов. Каждый камень был аккуратно помечен биркой с его научным названием. Юлиус поощрял затворническое хобби сына, подбрасывая ему книги по минералогии. Намного позже Роберт признался, что геологическое происхождение камней не вызывало у него интереса, его больше привлекали кристаллические структуры и поляризация света.