К съемкам «Зеркала» Тарковский приступил в июле 1973 года. К сожалению, отказался работать на картине оператор Вадим Юсов. Свое решение он объяснял так: «Я внутренне не принял сценарий «Белый, белый день» («Зеркало»). Мне не нравилось, что, хотя речь в нем идет о самом Андрее Тарковском, на самом деле в жизни все было не так: я знал его отца, знал маму… Поклонники «Зеркала», наверное, возразят мне, что художественный образ и не должен во всем совпадать с реальным. Это я понимаю, согласен, не должен. Но я видел иное: непонятное мне стремление встать на небольшие котурны, — и это не вязалось у меня с Андреем. Я говорил ему об этом и почувствовал, что он моих поправок-требований на этот раз не примет, и что мне будет трудно, и я только помешаю ему…»
Лето было сырым и холодным. Тарковский арендовал деревенский дом, где поселился вместе с Ларисой, Тяпой, Лялей и Анной Семеновной (Тяпа — сын Андрея и Ларисы Тарковских, Ляля — дочь Ларисы Анна Семеновна — ее мать).
Съемки разворачивались крайне медленно. За десять дней в Тучково были отсняты всего два кадра, собственно, один проход.
Осенью группа приехала в Москву, началась работа в павильоне. Здесь, например, снимали сон мальчика — сцену, когда с потолка лилась вода и обваливалась штукатурка. Поражали размеры комплекса декораций, особенно сооруженный в павильоне двор, где пиротехники раскладывали и поджигали костер. Это было удивительно, так как в декорациях категорически запрещалось разжигать открытый огонь. Видимо, администрация «Зеркала» получила на это специальное разрешение.
Параллельно со съемками Тарковский монтировал документальный материал. Настоящим открытием стали кадры бредущих по воде Сиваша солдат. Позже писатель Г. Владимов напишет об этом эпизоде фильма: «И следом — черно-белые кадры фронтовой хроники, по праву и в полной мере авторские — ведь никто до Тарковского их не выбрал, кадры жестокие по-своему, хотя нет в них ни стрельбы, ни разрывов, ни падающих тел. А есть — штрафники, форсирующие Сиваш, медленно, враскачку, бредущие болотистым месивом, вытягивая пудовые ботинки с обмотками. И не сразу отмечает глаз самое страшное — что они, по сути, безоружны, хоть каждый что-то несет, прижавши к груди: кто — мину для миномета, кто — снаряд. Так они — всего лишь «подносчики», затем и погнали их через гнилой Сиваш? И ноша каждого из них — это и цена ему, цена немыслимым его мучениям…»
12 февраля 1974 года снималась сцена «Зеркала», где героиню вынуждают зарезать петуха, то есть сцена Матери и Лебедевой, в которой были заняты Терехова и Лариса Тарковская. Обстановка на съемочной площадке была напряженной: шла скрытая борьба женских честолюбий. А в данном случае ситуация усугублялась еще и тем, что Лариса сама хотела играть роль Матери.
Терехова отказалась резать петуха. Уговорить ее не удалось. Сняли эпизод просто. Записали предсмертный крик петуха, подули перышками на лицо хозяйки: убийство как бы произошло. И после этого — лицо Тереховой крупным планом, лицо преступившего человека.
Тарковский говорил во время работы над фильмом:
«Единственное, что я сейчас могу утверждать с уверенностью, — фильм, который мы сейчас снимаем, не будет иметь никакого отношения к традиционному кинематографу, построенному на изложении сюжета, рассказа. События в их последовательности сами по себе не будут иметь никакого значения. Смысл всего должен возникать из сопоставления эпизодов прошлого с авторским отношением к этому прошлому и жизни как таковой. Этот фильм должен быть подобен сну, в котором человек ощущает себя старым, ясно осознает, что жизнь прошла и самый важный водораздел им уже пересечен…
В фильме будут очень важны слова, авторские монологи, прямо выражающие авторскую мысль, авторские размышления. Что касается игровых сцен, то в них не должно быть ничего двусмысленного, все должно быть просто, как в жизни, без всякой символизации. Некоторые персонажи фильма — это просто обычные люди, существующие в реальности и играющие на экране самих себя… Персонажи должны мешаться, и должны быть моменты, когда не очень понятно, кто есть кто…»
К марту 1974 года съемочный период был закончен и начался как никогда мучительный монтажный период. Положение было сложное, потому что все было отснято, просрочены сроки, группа не получала премии, а картина не складывалась.
В монтажной на «Мосфильме» Тарковский который раз переставлял целые эпизоды фильма и отдельные фрагменты его. Андрей Арсеньевич сделал карточки — 32 названия эпизодов — «типография», «продажа сережек», «испанцы», «сеанс гипноза» и т.д. Наконец его осенило. «А ты знаешь, что я сделаю? — сказал он Михалкову-Кончаловскому. — Я вообще все перемешаю, чтобы никто ни хрена не понял! Поставлю конец в начало, середину — в конец».
Он попытался перегруппировать структуру в абсолютно абстрактный коллаж. Ему это удалось. По словам того же Михалкова-Кончаловского, «он разрушил связанность рассказа, никто ничего не понимал. Но было ощущение присутствия чего-то очень значительного, кирпичи-то были золотые».