Он был младший в семье известного петербургского журналиста Бориса Осиповича Харитона. Когда он родился, старшей сестре Лиде было 5 лет. Средней, Ане,— 3 года. Семья занимала три маленькие комнаты в мансарде семиэтажного дома на улице Жуковского. В доме была странная лестница, марши которой отделялись перегородками друг от друга. Анна Борисовна вспоминает: «В 1916 году у нас случился пожар. Загорелось помещение где-то на третьем этаже. Дым повалил прямо к нам в мансарду. Двенадцатилетний Люся (так в семье называли Юлия Борисовича) не растерялся, намочил под краном полотенца, дал их мне с Лидой, чтобы дышать сквозь мокрую ткань, и вывел по лестнице, полной дыма, во двор».
Важную роль в образовании Юлия Борисовича сыграли книги. Их было много в домашней библиотеке. До сих пор с благодарностью вспоминает он десятитомную детскую энциклопедию, на обложке каждого тома которой была изображена молодая женщина, рассказывающая мальчику и девочке о науках. Не малую роль сыграли книги известного популяризатора Я. И. Перельмана. В 1915 году Борис Осипович подарил сыну простенький фотоаппарат с постоянной наводкой на фокус и «падающими фотопластинками». Увлечение фотографией Юлий Борисович сохранил на всю жизнь.
В 1916 году он поступает во второй класс коммерческого училища. По программе это соответствует четвертому классу современной средней школы. Здесь, наряду с немецким, изучает французский язык. Летом 1917 года, после окончания третьего класса, сдает сразу за четвертый и становится учеником пятого класса реального училища. Затем получает разрешение сдать экстерном еще за один класс и к лету 1919 года получает диплом об окончании всех семи классов тогдашней единой трудовой школы, затратив на учение в школе только три года.
С тринадцати лет Харитон начинает работать. Сначала в библиотеке Дома литераторов, а после окончания реального училища около года работает электромонтером ремонтных мастерских телеграфа Московской Виндаво-Рыбинской железной дороги. В 1920 году становится студентом электромеханического факультета Петроградского политехнического института. Здесь повезло: его потоку читал курс физики Абрам Федорович Иоффе. После нескольких лекций этого замечательного педагога и ученого Харитон понимает: физика много более интересная и широкая наука, чем электротехника. В начале 1921 года Харитон переходит на организованный А. Ф. Иоффе физико-механический факультет, чтобы на долгие годы связать свою судьбу с академиком А. Ф. Иоффе и навсегда — с физикой.
В том же 1921 году Николай Николаевич Семенов приглашает Ю. Б. Харитона и двух его друзей — А. Ф. Вальтера и В. Н. Кондратьева — на работу во вновь организованную им лабораторию в Ленинградском физико-техническом институте. Вот как Н. Н. Семенов рассказывает о первых годах существования этой лаборатории:
«Только что кончилась гражданская война. В стране голод, разруха. Нет приборов, нет оборудования. Казалось, для обыкновенного времени в таких условиях работать невозможно. Но все преодолевалось энтузиазмом, упорством и, я бы сказал, оптимизмом. Лаборатория помещалась в Политехническом институте. Здание Физико-технического института еще только строилось. В насквозь промерзшем помещении, где мороз в коридорах часто бывал больше, чем на улице, в плотно закупоренной комнате все было сделано руками Юлия Борисовича и его двух товарищей. Водопровод представлял собой следующее устройство: на деревянном помосте стоял большой эбонитовый бак от аккумулятора подводной лодки, в который заливалось ведер двадцать воды. Эту воду они таскали из колонки с улицы или из соседних зданий. Из бака шли трубки для охлаждения диффузионных насосов ко всяким холодильникам и другим приборам, нуждающимся в водоснабжении. Стояла небольшая печурка, которую нужно было ежедневно топить. Добывать дрова тоже было непросто. С 1923 начала поступать в небольшом количестве импортная аппаратура, а затем и отечественная. Было очень голодно, и пшенная каша была тогда, кажется, единственным блюдом. Деньги измерялись миллионами, а потом и миллиардами, но на них все равно ничего нельзя было купить. Для изготовления приборов был один механик и один стеклодув. Все приборы делались своими руками. С их помощью выполнялись первоклассные исследования, которые публиковались и становились достоянием мировой науки. Юлий Борисович выполнил тогда отличную работу по конденсации молекулярных пучков».
Для изучения взаимодействия пучка атомов кадмия или цинка с поверхностью твердых тел при различных температурах Харитон применил следующий изящный метод. Медная пластинка шириной в 1 см и длиной 13—15 см опускалась одним концом в цилиндрический сосуд с жидкой ртутью. На противоположный конец пластинки наматывался небольшой нагреватель. Сосуд со ртутью погружался в сосуд Дьюара с жидким воздухом. Ртуть замерзала, и медная пластинка прочно вмораживалась в нее. После включения нагревателя вдоль пластинки устанавливался постоянный перепад температур от + 10° до —140 °С. Против пластинки располагался источник бомбардирующих атомов — нихромовая проволочка, на которую наносился изучаемый металл. При нагреве этой проволочки атомы металла летели в направлении медной пластинки. Они отражались от той ее части, температура которой превосходила критическую, и осаждались на другой, более холодной. Граница между обеими областями была очень резкой. Результаты Семенова и Харитона подтвердили идеи Кнудсена—Вуда и существенно их уточнили.
Одной из самых замечательных работ молодого Харитона на этом первом этапе в ЛФТИ (1925 год) было выполненное им совместно с З. Вальта экспериментальное исследование горения фосфора в кислороде. Эта работа стала отправной точкой для изучения разветвления цепных химических реакций. Вот что рассказывает по этому поводу сам Юлий Борисович:
«Я сконструировал прибор и, как полагалось в то время, получив от стеклодува наиболее сложные детали, собственноручно спаял его. В сосуд с кусочком белого фосфора через очень тонкий капилляр впускался кислород. Давление кислорода в сосуде с фосфором постепенно повышалось, но никакого свечения не было. Пары фосфора не желали окисляться. И только когда давление кислорода достигло сотых долей миллиметра ртутного столба, во всем объеме вспыхнуло стационарное свечение. Давление кислорода перестало повышаться. Это продолжалось, пока не закрыли кран, через который подавался кислород. Затем в течение двух суток мы продержали смесь под давлением чуть ниже предела — реакция не шла совсем. При возобновлении потока кислорода реакция начиналась снова».