Долгое время это место занималось строениями фруктового и овощного рынка на Малой Лубянской или Арбузной площади. Тут же собирались и охотники со всей Москвы. «Там, где теперь Политехнический музей, – вспоминал П.И. Богатырев, – по воскресеньям бывал „охотничий“ торг, который переведен на Трубу. На этот торг вывозились меделянские, овчарные, борзые, гончие и иных пород собаки, выносились голуби, куры, бойцы-петухи и иная птица. Здесь же в палатках продавались певчие птицы и рыболовные принадлежности. В то время, о котором я говорю, крепостное право только что кончилось; помещики еще не успели разориться и жили еще на барскую ногу. У многих были превосходные охоты, и они вывозили эти охоты, – как тогда говорили, на Лубянку – не столько для продажи, сколько напоказ. Любопытно было смотреть на этих ловчих, доезжачих, выжлятников и прочих чинов охоты. В казакинах, подпоясанные ремнями, с арапниками в руках, они напоминали какую-то „понизовую вольницу“, с широким разгулом, с беспредельною удалью, где жизнь, как и копейка, ставилась ребром».
Получив щедрый дар от городской думы, комитет по устройству музея объявил конкурс на проект музейного здания, но ни один из представленных не получил одобрения комитета, и тогда почетный председатель его великий князь Константин Константинович своей волей поручил составление проекта архитектору И.А. Монигетти. Надо сказать, что этот выбор оказался как нельзя удачным – проект сделан в русском стиле, ставшем тогда очень востребованным. Известный критик В.В. Стасов так отозвался о здании Монигетти: «Прекрасен фасад Политехнического музея в Москве, построенный… в русском стиле XVII века. Это пышно, красиво, дворцом смотрит и не лишено оригинальности».
Уроженец Москвы Ипполит Монигетти окончил Строгановское училище и прославился работами в Царском Селе (он автор изящного павильона «Турецкая баня») и в Петербурге. В Москве он стал известен Морским павильоном Политехнической выставки, наиболее технологически современной тогда постройкой: на набережной у Кремлевской стены он соорудил длинную галерею из металла и стекла, образцом которой послужил Хрустальный дворец первой Всемирной выставки в Лондоне, признанный провозвестником новой эры в строительстве. Стасов писал, что лондонский дворец «выступил первою, истинно гениальной попыткой дать нашему веку архитектуру совершенно новую». Морской павильон сразу же привлек внимание посетителей и стал самой известной ее постройкой. И.Е. Репин писал Стасову: «…из всех павильонов Морской отдел очень хорош; по крайней мере, общеевропейская вещь».
На застройку всего участка, выделенного под музей, средств не хватило, и поэтому сначала застроили только середину большого участка, где выросло одиноко стоящее высокое здание, которое теперь составляет центральную часть современного. Закладка происходила 9 мая 1874 г., а 30 октября 1877 г. состоялось его открытие. Фасад музея очень наряден, пропорционален, но несколько перегружен декоративными деталями. Надо отметить интерьеры и, в особенности, парадные лестницы (иногда приписывают их А.С. Каминскому).
Через 20 лет удалось продолжить строительство со стороны Ильинских ворот, но пришлось пожертвовать первым этажом нового здания, отдав его под «Лубянско-Ильинские торговые помещения», за счет которых и стала возможной эта постройка. Автором ее был архитектор Н.А. Шохин, однако все архивные чертежи подписаны А.Е. Вебером, который вел строительство. Открытие состоялось 30 мая 1896 г. А вот для строительства со стороны Лубянской площади средства нашлись только в 1903 г., когда инженер князь Г.И. Макаев организовал акционерное общество, которому, как писали в газетах, пришлось выложить около миллиона для возведения здания, и все-таки первоначально для повышения доходности строения предполагалось устроить в нижнем этаже пассаж для магазинов.
Макаев (часто приводимые сведения об авторстве архитекторов В.В. Воейкова и В.И. Ерамишанцева не подтверждаются документами) блестяще справился со сложной задачей совмещения нового здания с уже существующим: ему удалось построить его с применением современных декоративных мотивов и не слишком резко выделить в общем комплексе всех строений. Новая часть обладала вполне современным фасадом и в то же время не была резко отлична от уже построенных музейных зданий.
Земляные работы на участке начались 18 сентября 1903 г., а официальная церемония закладки происходила 8 сентября 1904 г. В 1907 г. строительство было закончено: 3 октября состоялось торжественное открытие северного крыла. Тем самым завершилось возведение самого большого московского музейного здания, занявшее 33 года.