Через четыре года после рождения Роберта Элла родила еще одного сына — Льюиса Фрэнка Оппенгеймера, однако младенец вскоре умер от стеноза привратника желудка — врожденной обструкции прохода между желудком и тонкой кишкой. От горя Элла выглядела еще более хрупкой. Роберт в детстве часто болел, отчего мать чрезмерно его опекала. Опасаясь микробов, она держала сына подальше от других детей. Ему не разрешалось покупать еду у разносчиков на улице; вместо того чтобы отправить его в парикмахерскую, парикмахера вызывали на дом.
Замкнутый по натуре и физически неразвитый Роберт провел раннее детство в уютном одиночестве маминого гнезда на Риверсайд-драйв. Между матерью и сыном навсегда установились глубокие отношения. Элла поощряла в Роберте художника, и он писал пейзажи, но, поступив в колледж, бросил живопись. Роберт боготворил мать. В то же время Элла умела настоять на своем. «Эта женщина, — вспоминал один друг семьи, — никогда не позволяла говорить за столом о чем-либо неприятном».
Роберт быстро сообразил, что матери не нравятся знакомые отца из мира торговли и коммерции. Разумеется, большинство деловых партнеров Юлиуса были евреями в первом поколении; Элла давала сыну понять, что ее коробит от их «навязчивости». Роберт больше других мальчишек рос, колеблясь между строгими порядками матери и компанейскими замашками отца. Иногда он стыдился отцовской непосредственности и одновременно чувствовал себя виноватым за то, что испытывал стыд. «Велеречивые и подчас шумные проявления гордости Юлиуса за своего сына страшно раздражали Роберта», — вспоминает один друг детства. Уже повзрослев, Роберт подарил своему другу и бывшему учителю Герберту Смиту красивую гравюру со сценой из «Кориолана» Шекспира — герой отрывал от себя руки матери. Смит не сомневался, что Роберт намекал, как трудно ему далась разлука со своей матерью.
Когда ему было пять или шесть лет, Элла заставляла сына учиться игре на фортепиано. Роберт послушно упражнялся каждый день, ненавидя это занятие всей душой. Прошло около года, и он заболел. Мать, как водится, заподозрила худшее — детский паралич. Ухаживая за сыном, она каждый день спрашивала, как он себя чувствует, пока Роберт однажды не глянул на нее с кровати и не пробурчал: «Как во время урока музыки». Элла сдалась, занятия фортепиано прекратились.
В 1909 году, когда Роберту было всего пять лет, Юлиус взял его с собой в первое из четырех трансатлантических путешествий погостить у деда Беньямина в Германии. Отец и сын повторили вояж два года спустя. К тому времени Беньямину шел семьдесят шестой год, и все же дед произвел на внука неизгладимое впечатление. «Я понял, — вспоминал потом Роберт, — что одним из его любимых в жизни занятий было чтение, хотя он почти не учился в школе». Однажды, наблюдая, как Роберт играет в кубики, Беньямин решил подарить мальчику энциклопедию архитектуры. Дед также подарил ему «совершенно обыкновенную» коллекцию минералов — ящик с двумя десятками образцов с этикетками на немецком языке. «С этого момента, — вспоминал Роберт, — я, как это свойственно детям, превратился в азартного коллекционера». Вернувшись в Нью-Йорк, он уговорил отца взять его на «охоту за минералами» в Палисейдс. Вскоре в квартире на Риверсайд-драйв негде было повернуться от образцов. Каждый камень был аккуратно помечен биркой с его научным названием. Юлиус поощрял затворническое хобби сына, подбрасывая ему книги по минералогии. Намного позже Роберт признался, что геологическое происхождение камней не вызывало у него интереса, его больше привлекали кристаллические структуры и поляризация света.
В возрасте с семи до двенадцати лет у Роберта были три домашних увлечения — минералогия, поэзия и конструирование из кубиков. Впоследствии он вспоминал, что тратил время на эти занятия «не для того, чтобы заполнить одиночество, или потому, что это было связано с учебой в школе, а просто так». В двенадцать лет он научился пользовался семейной пишущей машинкой и переписывался с местными именитыми геологами о минеральных отложениях, которые исследовал в Центральном парке. Один из партнеров по переписке, не зная, что ему писал ребенок, порекомендовал принять Роберта в нью-йоркский клуб минерологов; вскоре мальчик получил письмо с приглашением прочитать в клубе лекцию. Испугавшись перспективы выступления перед взрослыми, Роберт умолял отца объяснить членам клуба, что они прислали письмо двенадцатилетнему мальчишке. Приятно удивленный Юлиус ободрил сына и убедил его принять приглашение. В назначенный вечер Роберт явился в клуб вместе с родителями, гордо представившими его полным именем — как Джулиуса Роберта Оппенгеймера. Опешившие геологи и любители — коллекционеры минералов расхохотались, увидев на сцене подростка. Оратору пришлось встать на деревянный ящик; в противном случае из-за трибуны был виден лишь вихор жестких черных волос. Преодолевая застенчивость и неловкость, Роберт все же зачитал приготовленные заметки, сорвав бурные аплодисменты.
Юлиус без колебаний поощрял взрослые увлечения сына. Отец и мать понимали, что в семье растет «гений». «Они обожали его, переживали за него и берегли его, — вспоминала двоюродная сестра Роберта Бабетта Оппенгеймер. — Ему давали любую возможность развивать свои наклонности, не торопя события». Как-то раз Юлиус подарил сыну профессиональный микроскоп, который быстро стал для него любимой игрушкой. «Мне кажется, что мой отец был одним из самых терпимых и человечных людей в мире, — вспомнит Роберт через много лет. — Прежде чем что-то сделать для человека, он всегда сначала позволял ему самому определиться, чего он хочет». Чего хотел Роберт, нетрудно было угадать: с раннего возраста мальчик жил в мире книг и науки. «Он был мечтателем, — писала Бабетта Оппенгеймер, — и его не привлекала суматошная жизнь сверстников… его часто дразнили и высмеивали за непохожесть на других детей». Когда Роберт подрос, его «ограниченный интерес» к играм сверстников временами тревожил даже мать. «Я знаю, что она — без особого успеха — пыталась сделать меня похожим на других мальчиков», — говорил он.
В 1912 году, когда Роберту было восемь лет, Элла родила еще одного сына — Фрэнка Фридмана Оппенгеймера и переключила основное внимание на новорожденного. Мать Эллы переехала в квартиру на Риверсайд-драйв и некоторое время жила с семьей. Она умерла, когда Роберт достиг подросткового возраста. Восьмилетняя разница в возрасте между братьями оставляла мало места для детского соперничества. Позже Роберт высказал мысль, что был для Фрэнка не только старшим братом, но «из-за разницы в возрасте — отцом». Фрэнка в раннем детстве пестовали не меньше, а возможно, и больше, чем Роберта. «Если я чем-то увлекался, — вспоминал Фрэнк, — то родители немедленно это предоставляли». Когда Фрэнк в старших классах заинтересовался Чосером, Юлиус купил сыну сборник произведений поэта, изданный в 1721 году. Стоило Фрэнку проявить интерес к игре на флейте, как родители наняли давать частные уроки одного из лучших флейтистов Америки Жоржа Баррера.
Обоих мальчиков нежили и баловали, однако некоторым тщеславием обзавелся только первенец Роберт. «Я отплатил родителям за их уверенность во мне, развив в себе неприятный апломб, — признался впоследствии Роберт, — который — я убежден — отталкивал как детей, так и взрослых, имевших оплошность вступить со мной в контакт».
В сентябре 1911 года, вскоре после возвращения из второй поездки к деду Беньямину в Германию, Роберт поступил в единственную в своем роде частную школу. За несколько лет до этого Юлиус стал активным участником Общества этической культуры. Церемонию бракосочетания между ним и Эллой проводил доктор Феликс Адлер, основатель и руководитель общества, в котором Юлиус с 1907 года служил попечителем. То, что дети должны получить начальное и среднее образование в школе общества, расположенной на Сентрал-парк-уэст, даже не обсуждалось. Девиз школы гласил: «Поступки, а не вера». Основанное в 1876 году Общество этической культуры прививало своим членам приверженность деятельности на благо общества и гуманизма: «Человек должен быть в ответе за направленность своей жизни и судьбу». Будучи порождением американского реформистского иудаизма, этическая культура сама по себе не являлась религией и прекрасно устраивала немецко-еврейскую верхушку среднего класса, большинство которой, как и Оппенгеймеры, стремилось ассимилироваться в американское общество. Феликс Адлер с группой талантливых педагогов содействовали этому процессу и определенно оказали мощное влияние — как эмоциональное, так и интеллектуальное — на формирование психики Роберта Оппенгеймера.
