П.М. Третьяков вместе с братом Сергеем в 1851 г. приобрел особняк в Лаврушинском переулке, который в конце XVIII в. принадлежал капитанше А.А. Кологривовой и уже тогда обозначался как «старый». Он был выстроен во второй половине XVIII в. на основе палат предыдущего столетия. В конце 1830-х гг. дом перестраивается тогдашними владельцами купцами Шестовыми.
Со временем галерея разрасталась и жилой дом Павла Михайловича уже не вмещал новых приобретений. В продолжение 20 лет архитектором А.С. Каминским (зятем Третьякова) переделывался старый дом и к нему пристраивались все новые и новые помещения. По словам Репина, «Третьяков вынес. один на своих плечах вопрос существования целой русской школы живописи». В 1881 г. Павел Михайлович открыл свою галерею для публичного посещения, а 31 августа 1892 г. он передал ее, вместе с небольшим, но ценным собранием брата Сергея, городу Москве в дар. После его кончины галерея не перестала увеличивать свои фонды и вскоре опять начались переделки. В 1903 г. к бывшему когда-то жилому дому П.М. Третьякова был приделан декоративный фасад (по рисунку В.М. Васнецова; архитектор В.Н. Башкиров) в русском стиле с кокошником, где изображен московский герб, и с вязью дарственной надписи.
В 1930-х гг. делались пристройки к зданиям галереи (и, в частности, по проекту А.В. Снигарева), но требовались коренные меры по улучшению показа, хранению и реставрации художественных ценностей. В 1980 г. перед зданием галереи открыли памятник основателю (скульптор А.П. Кибальников).
Реконструкция комплекса галереи началась в 1983 г. Длилась она более десяти лет, было преодолено множество трудностей, из которых не последней была проблема финансирования. Первым (в 1985 г.) построили здание хранилища, в котором использовались последние достижения техники, там же поместились реставрационные мастерские, потом так называемый инженерный корпус (1989 г.) с помещениями для конференций и лекций, детской студией, несколькими залами, где еще до открытия основных залов галереи демонстрировались коллекции. Старые корпуса были также реконструированы, застроены внутренние дворики (в одном из таких бывших двориков показана врубелевская «Принцесса Греза», никогда еще в галерее не экспонировавшаяся), поставлены новые осветительные системы, сделана новая подвеска картин, лифты для инвалидов и многое другое. В апреле 1995 г. галерея приняла первых посетителей после долгих лет ремонта и реконструкции.
В состав галереи включены и здания, находящиеся на той же стороне Лаврушинского переулка. У начала переулка – усадьба (№ 4), на которой старинные палаты, стоящие несколько в глубине, и здание с портиком по красной линии. Палаты, как полагают исследователи, выстроены после стрелецких бунтов примерно в 1680—1690-х гг., когда многие дворы в слободе опустели. Во второй половине XVIII в. палатами владели виноторговцы, купцы первой гильдии Андроновы, которые значительно их перестроили и увеличили. Двухэтажный небольшой особняк с четырехколонным тосканским портиком по линии переулка выстроен в 1822 г.
Рядом с ним, в глубине участка (№ 6), – отреставрированные двухэтажные палаты конца XVII в., перестроенные в конце XVIII в., когда справа к ним пристроили крупный дополнительный объем. Особенно обращают на себя внимание красивые крупные наличники второго этажа.
При реставрации и перестройке самой галереи преобразился и весь Лаврушинский переулок – появились площадки со скамейками, небольшие кафе, кругом чистота и порядок, а к галерее теперь ведет новый мост через Водоотводный канал, введенный в эксплуатацию в сентябре 1994 г.
С Третьяковым связано еще одно примечательное здание (№ 3), расположенное в самом начале Лаврушинского переулка. Основатель галереи завещал участок и 150 тысяч рублей для передачи в собственность городу Москве с целью устройства Приюта для вдов и сирот русских художников. В 1909 г. объявили конкурс на проект здания, а 20 мая 1912 г. оно было торжественно открыто. Архитектор Н.С. Курдюков учел окружение, в котором оказалось новое сооружение, и спроектировал его, используя мотивы древнерусской архитектуры. Здание приюта, поставленное в начале старинного переулка, стало как бы преддверием, приглашением к посещению галереи русской живописи. В результате надстройки 1931 г. оно лишилось островерхих завершений, исчез также и красочный майоликовый фриз с гербом Москвы и старинными буквами.
На доме – мемориальная доска, напоминающая о том, что здесь жил художник Г.К. Савицкий.