Павел Михайлович пользовался особым доверием художников и получил право осматривать их новые работы ещё в мастерских, либо уже на выставках накануне вернисажа. Собиратель покупал заинтересовавшие его картины нередко вопреки мнению критики, запрету цензуры, давлению признанных авторитетов. Но что самое удивительное, порой даже наперекор собственным художественным пристрастиям. Поэтому почти всё лучшее, что было создано членами Товарищества передвижных художественных выставок, вошло в собрание галереи ещё при жизни Павла Михайловича Третьякова.
Уже в начале 1860–х годов в коллекции стали появляться работы живописцев XVIII – первой половины XIX века. А позднее – и памятники древнерусского искусства.
К концу 1860–х годов Третьяков задумывает привлечь художников к работе над портретной галереей лучших людей нации – «писателей, композиторов и, вообще, деятелей по художественной части». Это была попытка создать настоящую национальную портретную галерею.
Считается, что стимулом к созданию подобной портретной галереи стало открытие Национальной портретной галереи в Лондоне. Третьяков посетил её во время поездок в Великобританию.
Павел Михайлович привлёк к реализации этой идеи ведущих русских живописцев 1870–1880–х годов. Многие портреты Василия Григорьевича Перова, Ивана Николаевича Крамского, Ильи Ефимовича Репина, Николая Александровича Ярошенко исполнялись если не по прямому заказу Третьякова, то с заведомой ориентацией на его портретное собрание. Идея создания национальной галереи, безусловно, стимулировала развитие русской портретной живописи в последней трети XIX века.
Внимание Третьякова привлекали и значительные работы мастеров вне круга передвижников. Так, в 1874 году им была куплена Туркестанская серия выдающегося русского живописца и одного из наиболее известных художников-баталистов Василия Васильевича Верещагина.
Значительно меньше интересовали Третьякова работы художников-академистов, не разделял он и увлечения современников творчеством Ивана Константиновича Айвазовского.
Галерея была изначально задумана Павлом Михайловичем как национальный музей русского искусства, доступный широкому зрителю. Известно, что намерение передать собрание картин городу впервые было высказано Третьяковым ещё в 1860 году. Поэтому вполне закономерно, что в 1892 году Павел Михайлович Третьяков решил сделать дар Москве. Он передал городу своё собрание, а также коллекцию своего брата Сергея Михайловича, перешедшую к нему по завещанию. В коллекции Сергея Михайловича были картины и скульптуры, выполненные по преимуществу западноевропейскими мастерами.
Коллекция насчитывала 1287 живописных и 518 графических произведений, 9 скульптур русских мастеров, 75 картин и 8 рисунков европейских художников второй половины XIX века, главным образом французских и немецких.
В августе 1893 года музей открылся для всеобщего бесплатного обозрения. С этого момента и до 1918 года музей именовался Московской городской художественной галереей Павла и Сергея Третьяковых.
Павел Михайлович Третьяков был удостоен звания почётного гражданина Москвы.
Он оставался попечителем галереи до конца жизни. При этом продолжал приобретать произведения на деньги, ассигнованные для этих целей Московской городской думой и завещанные братом, Сергеем Михайловичем Третьяковым. Картины, купленные на собственные деньги, Павел Михайлович передавал в галерею уже в качестве дара.
Каталог собрания, составленный выдающимся коллекционером незадолго до смерти, содержал уже 1635 живописных произведений.
Изначально галерею работ русских художников Павел Михайлович организовал в здании, которое семья Третьяковых купила в Лаврушинском переулке Замоскворечья в 1851 году.
Вместе с ростом коллекции к жилой части особняка постепенно пристраивались новые помещения, необходимые для хранения и демонстрации произведений искусств.
Наконец, в 1904 году по проекту Виктора Михайловича Васнецова был сделан знаменитый фасад, который стал эмблемой Третьяковской галереи. И остаётся таковой по сей день.
В том же 1904 году Московская дума приняла «Положение о Третьяковской галерее». В документе закреплялась её роль музея русского искусства, отражающего все этапы его развития. Вскоре был приобретен ряд значительных полотен художников XVIII и первой половины XIX века, а также произведений рубежа столетий.
В июне 1918 года Третьяковская галерея была национализирована. В связи с общей перестройкой музейной системы Третьяковская галерея окончательно определилась как ведущий музей русского искусства.
В первое послереволюционное десятилетие собрание галереи пополнялось через Государственный музейный фонд, в который стекались национализированные частные коллекции. Уже в 1919 году из-за значительного притока работ музейные площади были разделены на экспозицию и запасник.