Детские годы Андрея прошли на богатой даче поэта Сергея Михалкова, пользовавшегося и в сталинское, и в послесталинское время огромным влиянием в культурной (и политической) среде, в частности как один (совместно с Эль-Регистаном — это был псевдоним писателя и журналиста Габриэля Урекляна) из авторов текста гимна СССР (в художественных кругах Михалкова прозвали «гимнюком»). Дача Михалкова находилась на привилегированной подмосковной Николиной Горе. Сами Михалковы называли свою дачу «семейным поместьем».
По окончании школы Андрей получил музыкальное и режиссерское образование.
Он начал свою творческую деятельность созданием на студии «Мосфильм» картины «Первый учитель» по повести Чингиза Айтматова (о противоречиях между попытками ввести советский уклад жизни в Киргизии и вековыми феодальными традициями). В последующие годы режиссер занялся русской классикой, поставив на той же студии фильмы по мотивам романа Ивана Тургенева «Дворянское гнездо» и пьесы Антона Чехова «Дядя Ваня». Оба фильма были положительно оценены не только советской, но и зарубежной критикой. Однако подлинный успех Кончаловскому принесли работы «Романс о влюбленных» (1974) и «Сибириада» (1979), которые были удостоены премий на международных фестивалях. В 1980 году ему было присвоено звание народного артиста РСФСР.
В то же время постепенно назревали противоречия между творческой манерой Кончаловского, его относительной независимостью (не доходившей до диссидентства, но приближавшейся к нему) и художественной политикой советского коммунистического руководства. Неоднократно возникали противоречия и даже открытые конфликты с курсом дирекции «Мосфильма», послушно выполнявшей указания ЦК КПСС. В частности, возник острый, доходивший до взаимных обвинений спор режиссера с партийно-государственным начальством из-за снятого им фильма «История Аси Клячиной, которая любила, да не вышла замуж». Картина была сочтена чуть ли не антисоветской и «положена на полку» более чем на 20 лет.
В этом фильме, который снимался в русской деревне почти без профессиональных актеров (помимо актрис Ии Саввиной и Любови Соколовой, в нем играли сельские жители), было немало запоминающихся документальных кадров (рассказов крестьян о своей жизни, о фронте, о сталинских лагерях). Сам Кончаловский через много лет в воспоминаниях писал: «Думаю, что воздействие „Аси“ на искушенного зрителя било наотмашь по простой причине. Простая жизнь пронзала своей болью, своей нищетой, своей замороженностью. Ибо нельзя было в той, Советской, России быть несчастным. Не разрешалось. Все были счастливы. А кровь текла… А стоны не стихали…»
После создания этого фильма власти стали относиться к Кончаловскому подозрительно. Тем не менее, учитывая особое положение семьи в советской художественной элите и нежелание идти на международные конфликты из-за молодого режиссера, власти решили выпустить его в 1980 году за рубеж, тем более что в своих общественно-политических высказываниях он не допускал резкой критики советской системы. Фактическая критика осуществлялась через художественные образы.
В связи с тем что советские фильмы Кончаловского были неплохо известны на Западе и получали высокую оценку, он был принят в Голливуде, где поработал более десяти лет, сохраняя гражданство СССР. Возвратившись в Россию в начале 1990-х годов, он продолжал работать и в американском кинематографе.
Первой работой Андрея Кончаловского в Голливуде был короткометражный фильм «Сломанное вишневое деревце» (1982), созданный по рассказу Джесси Стюарта. Хотя это был художественный фильм, он был создан в рамках американской образовательной программы специальной просветительской корпорации США. В нем на примере одной из провинциальных школ популярно повествовалось о важности школьного образования, без которого не может обойтись ни один гражданин.
Хотя «первый блин» не носил характера подлинно художественного произведения, он был позитивно оценен и зрителями, и критикой. Журнал «АЛАН ревю» писал: «Фильм настолько хорошо сделан, что достоин того, чтобы его смотрели как ученики в классе, так и широкая зрительская аудитория». Работа была даже выдвинута на «Оскара» в категории «лучший короткометражный фильм».
Первый успех стимулировал дальнейшую творческую активность. Почти ежегодно следовали новые фильмы.
В 1983 году Андрей Кончаловский снял для компании «Кэннон груп» фильм «Возлюбленные Марии» по мотивам повести полузапрещенного советского писателя Андрея Платонова «Река Потудань», хотя действие было перенесено в США, а героями стали сербские эмигранты. Режиссер сосредоточил внимание на жизни простых людей непосредственно после войны. Главный герой возвращается в США из японского плена, но не может найти себе места, томится и даже, вступив в брак, не в силах проявить свою мужскую способность, в результате чего его жена остается девственницей. Главную женскую роль в фильме сыграла известная актриса Настасья Кински, согласие которой на участие оказало, по признанию Кончаловского, большую помощь в том, что компания начала производство.