После защиты курсовой Тарковскому пришла в голову идея снять фильм про Антарктиду. Вместе с Михалковым-Кончаловским они написали сценарий «Антарктида — далекая страна». Тарковскому удалось пристроить его на «Ленфильм». Однако прочитавший творение молодых вгиковцев мэтр Григорий Козинцев с прохладой отнесся к их проекту и заявил: «Сценарий слабенький. Никакого действия в нем нет». Пришлось неудачникам отказаться от этой темы и засесть за более прозаическую вешь. Так на свет появился сценарий «Каток и скрипка», на основе которого Тарковский снял на студии «Юность» с ною дипломную работу. На главную роль он собирался пригласить популярного в те годы Евгения Урбанского, однако тот оказался занят в съемках другого фильма и роль досталась Влашмиру Заманскому.
А. Михалков-Кончаловский писал впоследствии: «Мы с Тарковским росли под знаком отрицания многого из того, что оыло в кинематографе. Картины Пырьева вызывали у нас приступы смеха. Мы не признавали его точно так же, как поколение деда не признавало Репина.
Помню, как в Театре-студии киноактера, где какое-то время помещался Союз кинематографистов, мы столкнулись с Пырьевым на лестнице, едва поздоровались. Он спускался вниз в роскошных замшевых мокасинах, о которых в 1962-м нельзя было и мечтать. Кто-то нам потом передал его фразу: «Эти евреи — Тарковский, Кончаловский…» Мы долго над ней хохотали… Это сейчас мне понятно, насколько большой, неординарной личностью — и как человек, и как художник — был Иван Александрович Пырьев. А тогда все строилось на отрицании его кинематографа. Мы обожали Калатозова, он был для нас отрицанием Пырьева, отрицанием соцреализма, фанеры, как мы говорили. Когда на экране не стены, не лица, а все — крашеная фанера. Нам казалось, что мы знаем, как делать настоящее кино. Главная правда — в фактуре, чтобы было видно, что все подлинное: камень, песок, пот, трещины в стене. Не юлжно быть грима, штукатурки, скрывающей живую фактуру кожи. Костюмы должны быть цеглаженые, нестираные. Мы не признавали голливудскую или, что было для нас то же, сталинскую эстетику. Ощущение было, что мир лежит у наших ног, нет преград, которые нам не под силу одолеть…»
На последнем курсе ВГИКа Тарковский попробовал себя в качестве киноактера в фильме Марлена Хуциева «Застава Ильича» («Мне двадцать лет»), он достаточно убедительно сыграл небольшую роль молодого резонера. Однако фильм был подвергнут обструкции на самом «верху» (на него ополчился сам Хрущев) и был сначада положен на полку, а затем пущен в прокат малым экраном. Так что карьера Тарковского-актера не задалась с самого начала. Не менее сложно складывалась и его режиссерская карьера.
Слава пришла к Тарковскому в 1962 году, когда он снял фильм «Иваново детство». Основой для фильма послужила прекрасная повесть В. Богомолова «Иван», которая увидела свет в начале 60-х. Первоначально фильм по этой повести собирался снимать другой молодой режиссер, Эдуард Абалов, из творческого объединения А. Алова и В. Наумова. Однако у него дело не пошло и студия стала подыскивать другого режиссера. В конце концов выбор пал на Тарковского. В течение двух недель тандем из четырех человек — оба Андрея, Владимир Богомолов и Михаил Папава — написали новый сценарий (Михалков-Кончаловский в титры не попал по причине своей молодости, и эта работа была засчитана ему как практика), и Тарковский приступил к съемкам. На главные роли он пригласил актеров-дебютантов: Евгения Жарикова, Николая Бурляева, Валентину Малявину. С последней во время съемок у него случился роман (стоит отметить, что небольшую роль в картине сыграла и бывшая жена Тарковского Ирма Рауш).
Вспоминает актриса Малявина: «С ним было очень трудно. Если говорить современным языком, он хотел меня приватизировать, не желал отпускать от себя. А мне очень хотелось сниматься. Он был гением, я была талантлива. Я вышла замуж (за оператора Павла Арсенова. — Ф. Р.), он женился. Роман продолжался. Многие наши общие знакомые знали об этом и трогательно, бережно относились к нашим чувствам. Это был странный человек — мог в теплую погоду ходить в меховой шапке, завязанной под подбородком, и в элегантном костюме (он вообще любил красиво одеваться и красиво одетых женщин, придумывал им наряды). Почему я не вышла за Тарковского?.. Да очень многие актрисы, снимавшиеся у него, просто мечтали об этом! Терехова, Васильева… Они и после его смерти до сих пор поделить его между собой не могут. А я его отпустила. Так, наверное, нам обоим было легче…»
Фильм «Иваново детство» был встречен руководством Госкино достаточно прохладно (картину назвали «пацифистской») и пущен по экранам страны ограниченным тиражом. В итоге в прокате он собрал всего около семнадцати миллионов зрителей (серые фильмы типа «Среди добрых людей» и «713-й просит посадку» имели куда большую аудиторию: 30 и почти 28 миллионов соответственно).