Николай Озеров родился 11 декабря 1923 года в Москве в творческой семье. Его отец — Николай Николаевич — был известным оперным певцом, выступал на сцене Большого театра. Мать — Надежда Ивановна — поступила на театральный факультет Государственного института кинематографии, однако из-за рождения одного за другим двух сыновей (первенец — Юрий — родился в 1921 году, позднее он станет известным кинорежиссером) вынуждена была бросить учебу.
Семья Озеровых жила возле Разгуляя — на Старой Басманной улице. Дом, в котором они жили, Озерову-старшему предоставили в качестве казенной квартиры от Большого театра, где он работал. По словам Н. Озерова, он с детства мечтал петь, как отец, и быть таким же лысым. Но у него не было такого роскошного голоса, как у родителя. Первое публичное выступления Николая произошло на одном из домашних праздников, когда ему исполнилось четыре года. Он пел арию Джильды из оперы Верди «Риголетто». На него надели парик и юбку и вывели на середину комнаты. Он пел, а сам все время смотрел на пирожки, которые стояли на столе, и мечтал поскорее полакомиться ими.
В детстве его вместе с братом часто брали в Большой театр — приобщали к искусству. Но в отличие от своего старшего брата Николай был гораздо впечатлительнее. В эпизоде, когда отца, игравшего Садко, новгородцы прогоняли со сцены, мальчику было гак обидно за него, что он буквально захлебывался слезами. А однажды, когда между сценами образовалась пауза и погас свет, он закричал на весь зал: «Заснул дирижер, заснул!» После этой выходки родители какое-то время не водили его в театр, опасаясь, что он еще что-нибудь выкинет.
Сам Озеров вспоминает: «Первые впечатления детства: дом на Старой Басманной, отец — красивый, подтянутый, всегда чуточку торжественный, уезжает на спектакль в Большой театр. Возвращается радостный, возбужденный, с цветами. Мама. нежная и ласковая, с непременной сказкой перед сном бабушка. Отец был очень гостеприимным, в доме всегда много его друзей не только из Большого театра, но и из Художественного, писатели, художники, врачи, музыканты.
Вечер. К родителям пришли гости. Через полуоткрытую дверь видно, как отец водружает на стол старый дедовский самовар, пышноусый Новиков-Прибой шепчет что-то на ухо Неждановой. Рядом с мамой сидит дирижер Голованов. Поглаживает окладистую бороду молчаливый и суровый на вид Отто Юльевич Шмидт. Чай пьют степенно, с разговорами, не торопись. Мы с братом Юрием с нетерпением ждем самого главною: начинается домашний концерт. Василий Иванович Качалов читает стихи, Иван Михайлович Москвин — смешные рассказы, отец с Неждановой под аккомпанемент Голованова поют различные дуэты. Пел и Леонид Витальевич Собинов…»
Между тем, помимо искусства, была у Николая в те годы еще одна страсть — спорт. С девяти лет он стал играть в теннис на станции Загорянская, что в 28 километрах от Москвы. Тренировал его один из старейших жителей поселка Василий Михаилович (кстати, он же вывел в большой теннис целый ряд известных спортсменов: Александра Сергеева, Михаила Корчагина, Семена Белиц-Геймана, Владимира Зайцева, Александра Голованова, Николая Кучинского и других). Спарринг-партнером Николая обычно был его брат Юрий, который поначалу подавал даже большие надежды, чем Николай. Вскоре Василий Михайлович разрешил Озеровым, кроме основных занятий с ним, посещать и главный спортивный центр Загорянки — три теннисных корта для взрослых. На этой площадке Николай пропадал с утра до вечера, сидел на судейской вышке, мотрел, как играют взрослые, а когда они отдыхали, подходил к какому-нибудь теннисисту и просил: «Дядя, дай поиграть ракеточку».
К 12 годам Николай был уже шестой ракеткой в детской команде Загорянки (Юрий был четвертой) и тогда же впервые выступил в матчах на первенство Москвы. Причем выступил очень успешно — выиграв два матча, вышел в финал, где встретился с Белиц-Гейманом. И дважды победил его со счетом 6:3. Так, в 1935 году Озеров впервые стал чемпионом Москвы по теннису среди мальчиков. В газете «Красный спорт» тогда написали, что стадион Юных пионеров выдвинул недурную смену: мальчики Эйнис, Озеров, девочка Шнепст показали неплохую игру и многое обещают в будущем.
Об этих годах Озеров вспоминал: «Вскоре произошло еще одно событие, буквально потрясшее меня. Я увидел соревнования лучших мастеров тенниса на кортах ЦДКА, увидел и… заболел, заболел не только в переносном, но и в буквальном смысле слова. Приехал в Загорянку, и меня уложили в кровать с вы сокой температурой. Ночью я метался в бреду, мне казалось, что гигант Негребецкий своими сокрушительными ударами ломает стены. И Борис Новиков точно бьет в линию. И круче ный мяч Кудрявцева я не в состоянии отбить — он все время перепрыгивает через меня.