Картинная галерея ГМИИ им. А. С. Пушкина складывалась в 1920-1930-е, когда происходило перераспределение музейных фондов страны. В апреле 1923 Наркомпросом было принято решение об устройстве в Москве Центрального музея старой западной живописи на основе западноевропейского собрания Московского публичного и Румянцевского музеев с его размещением в здании Музея изящных искусств, который был выведен из подчинения Университету и превратился в самостоятельный художественный музей.
В 1924 в музей поступили картины из бывших собраний Г. А. Брокара, Д. И. Щукина, И. И. Шувалова, Юсуповых, Государственного музейного фонда, а также из музеев Ленинграда. Это позволило научным сотрудникам музея во главе с его директором, профессором Н. И. Романовым, создать первую систематическую экспозицию картинной галереи, которая открылась 10 ноября 1924. В ней были представлены картины итальянских, нидерландских, немецких, фламандских, испанских и французских художников XIII–XIX веков. С 1924 по 1930 в музей поступило большое количество картин из национализированных московских усадеб, ликвидированного Музея иконописи и живописи И. С. Остроухова, из Исторического музея, музеев Кремля, Третьяковской галереи — это были произведения западноевропейского искусства. В итоге сложилось ядро Картинной галереи старых европейских мастеров. Одновременно к древневосточному собранию была присоединена коллекция клинописных табличек и других памятников из бывшего Музея-института классического Востока.
Свое нынешнее название — Государственный музей изобразительных искусств имени А. С. Пушкина — музей получил в 1937.
Окончательно Картинная галерея музея сложилась в 1948, после закрытия Государственного музея нового западного искусства (ГМНЗИ), коллекции которого были поделены между Москвой и Ленинградом. В результате в музей поступило около 300 живописных и свыше 60 скульптурных произведений западноевропейских и американских мастеров второй половины XIX — первой трети XX века, главным образом работы французских импрессионистов и постимпрессионистов из собраний московских коллекционеров С. И. Щукина и И. А. Морозова, а также собрание графики и архив.
С 1949 по 1953 экспозиция музея была свернута; все его залы заняла «Выставка подарков И. В. Сталину от народов СССР и зарубежных стран».
Начало послесталинской эпохи в музее было отмечено в 1955 выставкой шедевров Дрезденской картинной галереи, спасенных советскими солдатами от уничтожения во время войны и отреставрированных сотрудниками ГМИИ им. А. С. Пушкина. И хотя первая выставка работ скульптора А. С. Голубкиной была организована в музее еще в 1914, именно с момента показа полотен Дрезденской галереи выставочная деятельность музея начинает приобретать характер целенаправленной работы и до сегодняшнего дня осуществляется с нарастающим размахом.
В музее были представлены шедевры мирового искусства «Сикстинская мадонна» Рафаэля, «Джоконда» Леонардо да Винчи, египетские сокровища из гробницы Тутанхамона, выставки из Лувра, Прадо, Метрополитен и других музеев. В 2007 впервые в России здесь прошла выставка Амедео Модильяни, также были представлены монографические выставки Пикассо, Тернера, Караваджо, Уильяма Блейка.
В 1985 по инициативе советского коллекционера литературоведа И. С. Зильберштейна и директора музея И. А. Антоновой был создан в статусе научного подразделения Отдел личных коллекций. Он открылся 24 января 1994. Первой его коллекцией стало собрание самого И. С. Зильберштейна, почти одновременно фонды пополнились собраниями А. Н. Рама, Е. Я. Степанова, Е. П. и Ф. В. Лемкуль, М. И. Чуванова, С. Т. Рихтера, а также наследием выдающихся художников XX века — A. М. Родченко и В. Ф. Степановой, Д. П. Штеренберга, B. Г. Вейсберга, А. Г. Тышлера, Т. А. Мавриной, Д. М. Краснопевцева, Г. С. и О. Г. Верейских.
В 1996 был организован Учебный художественный музей — новый отдел ГМИИ, размещенный в здании Российского государственного гуманитарного университета на улице Чаянова (открыт 30 мая 1997). Его экспозицию составляют гипсовые слепки, которые не вошли в основную экспозицию ГМИИ.
Галерея искусства стран Европы и Америки XIX–XX веков — новый отдел ГМИИ им. А. С. Пушкина. Она была открыта 3 августа 2006. Из главного здания музея сюда были перемещены произведения западноевропейских художников Новейшего времени. Небольшие по размерам залы позволяют публике по-новому увидеть хорошо знакомые картины Э. Делакруа и Ж. О. Д. Энгра. Испанскую школу представляет творчество Ф. Гойи. Отдельный зал получили участники парижского Салона: Ж. Жером, П. Деларош, Э. Л. Изабе. Произведения французских пейзажистов и художников барбизонской школы — К. Коро, Т. Руссо, Ж. Дюпре, В. Диаза де ла Пенья, Ш. Добиньи — как будто специально предназначены для интерьеров Галереи. Полотна Г. Курбе, Ж. Ф. Милле, О. Домье дополняют панораму искусства французского реализма.