Цветаев призвал меценатов пожертвовать, кто сколько может, на создание музея на Волхонке. А денег требовалось немало — более трех миллионов рублей. Одно из самых весомых пожертвований — две трети от необходимой суммы — поступило от известного Шухову владельца стекольных заводов в Гусь-Хрустальном Юрия Степановича Нечаева-Мальцова, в имение которого переехала после Нижегородской выставки водонапорная башня. Он и стал заместителем председателя комитета по устройству Музея изящных искусств им. Александра III, председательскую должность занял дядя Николая II и генерал-губернатор Москвы великий князь Сергей Александрович Романов. Цветаев был назначен секретарем комитета. 17 августа 1898 года состоялась торжественная закладка здания музея на Колымажном дворе в присутствии членов императорской фамилии и большого стечения народа. Дом для музея (даже не дом, а храм) должен был строиться по проекту авторского коллектива во главе с архитектором Романом Клейном, чей проект среди прочих пятнадцати и победил в конкурсе.
Авторы проекта смогли удовлетворить главному условию конкурса — форма музея должна в полной мере отражать его содержание, то есть здание должно быть изящным и обладать всеми признаками высокого художественного вкуса, строго соответствуя либо стилю эпохи Возрождения, либо античным канонам (ни в коем случае оно не должно было быть эклектичным!). Не случайно одной из изюминок главного фасада музея стала колоннада, повторяющая в большем масштабе пропорции колоннады восточного портика древнегреческого храма Эрехтейон, что по сей день возвышается на афинском Акрополе. Ионическая колоннада на Волхонке создает впечатление основательности и сдержанности. Свою роль сыграла и определенная удаленность здания от перспективы улицы, как бы выделяющая его из строя соседних домов, невольно привлекая к нему интерес, заставляя прохожих обратить внимание на безукоризненность архитектурных форм и законченность художественного образа, которую удалось достичь зодчим.
Соответствующей должна была быть и стеклянная крыша музея. Специфика здания диктовала необходимость большого объема естественного света, поступающего в том числе и сверху, — так было гораздо лучше осматривать представленную в музее скульптуру, а также соблюдать особые климатические условия для хранящихся под сводами сооружения картин, которым был категорически противопоказан конденсат. Шухов спроектировал уникальную прозрачную трехъярусную крышу, отлично осуществлявшую еще и функцию вентиляции всего здания, от чердаков до подвала. Таким образом, он создал «климат-контроль»: оригинальную систему регулирования температуры, уровня влажности воздуха и отопления в помещениях музея. Здесь в любое время было комфортно и картинам, и людям, зимой не холодно, а летом не жарко. А проникающий дневной свет создавал порой ощущение, будто находишься на улице, что особенно чувствовалось в Греческом и Итальянском двориках, а также залах второго этажа. Незаурядность инженерного решения Шухова проявилась и в том, что в каждом зале — свое световое пространство. Например, в Белом зале второго этажа (известном сегодня как место проведения знаменитых «Декабрьских вечеров» и крупных выставок) был сделан прозрачный потолок, который иногда называют «шуховским плафоном».
Важно, что конструкция крыши позволила избежать скопления снега — именно на этот аспект обращал внимание Иван Цветаев еще до начала строительства музея. Как один из вариантов формы будущих световых фонарей рассматривался арочный свод (как на Верхних торговых рядах), но Шухов спроектировал крышу под острым углом, что оправдало себя. Крыша оказалась удобна в эксплуатации — стекла довольно легко протирать и сегодня. Во время работы над проектом крыши для музея Шухов вновь встретился с Иваном Рербергом и Артуром Лолейтом.
В 1941 году фонды музея были эвакуированы в Новосибирск, но Великая Отечественная война не прошла для него бесследно — во время немецкого авианалета один из фугасов пробил стеклянные перекрытия над Итальянским двориком, интерьер которого украшает копия статуи Давида работы Микеланджело. Крыша музея была разрушена, почти три года залы и скульптура находились буквально под открытым небом, пока ее не восстановили. Но губительная влага сделала свое дело, что выяснилось уже через два десятка лет. Коррозия настолько сильно повредила опоры перекрытия, что они практически сгнили. Существовала опасность обрушения крыши. В 1960-е годы был проведен ремонт, обеспечивший шуховским перекрытиям музея еще полвека жизни.
Более ста лет прошло со дня торжественного открытия музея на Волхонке. То ли посетители стали хуже видеть, то ли стекла потускнели, но теперь и днем в залах музея приходится включать свет. Давно не функционирует вентиляция Шухова: стоило заложить один-другой вентиляционный канал, как вся система перестала функционировать. Остается лишь уповать на грядущую реконструкцию музея, способную восстановить шуховские перекрытия в полном объеме.