Спустя несколько дней Быков резко меняет состав. Он отказывается от услуг Савеловой, Малявиной и Шориной, после чего пятерка девчат выглядит следующим образом: М. Дроздовская, Т. Надеждина, Н. Батырева, В. Григорьева, Т. Карева. На роль Виктора приглашен Валентин Буров, на роль Паши — Владимир Ивашов. Итак, семь «нянек» были в сборе. А Афанасия все не было, поскольку работать с Морозовым Быков наотрез отказывался. Но худсовет объединения заявил, что никаких других кандидатур на эту роль утверждать не будет.
Съемки фильма начались 15 августа. Поскольку Быков продолжал лелеять мечту снимать в главной роли кого угодно, но не Морозова и собирался оспорить решение худсовета объединения на самом «верху» — в генеральной дирекции студии, он начал съемки фильма с эпизода, где Афанасия не было. Киношники работали возле часового завода на Таганке, на Курском, Павелецком вокзалах (снимали как Виктор ищет Соньку Золотую ручку), в метро (Виктор прорывается через турникеты; находит девушку в вагоне метро), зоомагазине (сцена с голубем).
Съемки длились уже несколько дней, когда Быков наконец выкроил короткую паузу в работе и пришел к директору студии, дабы утрясти наконец проблему с главным героем. На что он надеялся непонятно, поскольку был всего лишь режиссером-дебютантом. В итоге директор в просьбе поменять актера ему отказал, да еще пригрозил вышибить из кинематографа, если он еще посмеет хотя бы заикнуться о замене. И Быков вынужден был вызвать на съемки ненавистного ему Морозова. Тот начал сниматься с натурных эпизодов: возле проката; на ипподроме; на вокзале и др. Поскольку крупных планов там почти не было, его работа худо-бедно, но удовлетворяла Быкова. Хотя всем было видно, что с этим актером Быков работает через «не могу». Однажды он не сдержался и при всех заметил: «С таким клиентом, как Морозов, мне конец». Короче, обстановка на съемочной площадке была не из лучших. Однако с горем пополам натурные съемки через месяц удалось-таки завершить, и группа перебазировалась в павильоны. И вот здесь скандалы стали следовать один за другим. У Мороза появились первые игровые сцены, во время которых Быков все чаще и чаще стал выражать недовольство его игрой. Причем злость режиссера к актеру не проходила даже после того, как съемки завершались. 12 ноября, в день рождения Быкова, произошел и вовсе некрасивый эпизод. Именинник присел за стол с оператором фильма Петром Сатуновским, чтобы распить бутылку «Столичной». Мимо проходил Морозов, который хотел было подойти к столу и поздравить Быкова с днем рождения. Но тот вдруг возьми, да как рявкни на парня: «Чего тебе надо?! Иди отсюда!» Оплеванный Морозов выбежал из павильона. В итоге спустя пару дней этот инцидент стал катализатором другого, еще более громкого скандала.
Вспоминает С. Морозов: «У меня не получалась очень трудная сцена, когда Афанасий что есть силы орет на своих «воспитателей». Сцена шекспировского накала. Это и для взрослого актера испытание довольно серьезное. Быков вывел меня из декораций. Там, за декорациями, он толкал меня, оскорблял: «Ты тварь, ты испортил мне всю жизнь, я в тюрьму готов из-за тебя сесть, и я бы сел, просто мне жалко о тебя руки марать! Ты невнимательный, ты дрянь!»
После этих ужасных слов он допустил неосторожность и толкнул меня. А я ведь до этого семь лет занимался боксом: такие вещи вызывали у меня автоматическую реакцию… Я увернулся, ударил его в лоб. Он упал. Рядом со мной оказался щит с противопожарными инструментами. Я вырвал кирку, замахнулся и заорал: «Да я!..» Ну, там текст был еще тот…
И тут Быков вскочил, схватил меня за руку, как в американских фильмах, и произнес: «Потрясающе! Вот так можешь играть?! Вот так играй!» Он был гений! Даже в «смертный» для себя час он вдруг увидел возможность педагогического воздействия на ребенка. Меня трясло, я ничего не мог сказать. «Вот так, — повторял он, — вот так, только без мата!» Мы пошли в декорации. Он очень боялся, что запал мой прекратится, спросил: «Сеня, ну как ты?». Я рявкнул: «Нормально!» И вот с тех пор можно сказать, что я играл уже без ошибок…».
Из-за непредвиденных простоев (болезни режиссера и актеров) съемки фильма несколько затянулись и захватили начало следующего года. Так, в середине февраля 1962 года в павильоне снимали «сборочный цех часового завода». Под это дело «Мосфильм» арендовал с настоящего часового завода 30 часов марки «Эра» — одних из самых популярных в те годы.
13 марта черновой вариант картины смотрел худсовет объединения. Увиденное всем понравилось, за исключением одного эпизода: где Афоню водят по сборочному цеху и знакомят с его новым местом работы. Худсовету показалось, что эпизод снят не очень динамично, и было рекомендовано его переснять. Пересъемка состоялась 15 марта в 6-м павильоне.