В 1842 - 1851 гг. по проекту мюнхенского архитектора Л. Кленце В. П. Стасов и Н. Е. Ефимов построили здание специально для музея, которое стало называться Новым Эрмитажем. Прототипом ему послужил получивший мировое признание Мюнхенский музей - Пинакотека, славившийся своей рациональной организацией и удачным расположением экспонатов. В проекте Нового Эрмитажа Л. Кленце во многом повторил архитектурно-планировочные решения Пинакотеки: круговые маршруты по зданию, специализацию залов с учетом конкретных коллекций. Комиссия придирчиво рассматривала проект, в который по ее настоянию были внесены серьезные изменения, в частности, учитывающие градостроительные особенности расположения будущего здания. Серьезный спор вызвал вопрос о выборе места для главного входа в музей. По предложению автора проекта главный вход надлежало соорудить с западной стороны здания. Поскольку она выходила на узкий Шуваловский проезд между Миллионной улицей (ныне ул. Халтурина) и Дворцовой набережной, Кленце предлагал разобрать здание Малого Эрмитажа для создания более широкого пространства. Но, несмотря на настойчивые обращения архитектора к царю, здание Малого Эрмитажа решено было сохранить, а главный вход соорудить с южной стороны, выходящей на Миллионную улицу.
Расположение экспозиций в залах, принятое в проекте, в основном сохранилось до наших дней. Работая над внутренней планировкой экспозиционных помещений, Кленце учитывал количество и размеры конкретных картин и скульптур. В проекте было предусмотрено сооружение на третьем этаже хранилища рисунков, арсенала.
При оборудовании здания был использован ряд технических новинок, например приняты меры по ограничению вредного воздействия света на экспонаты. Стеклянные фонари Больших просветов * имели в чердачных помещениях специальные шторки, с помощью которых дозировалось количество поступавшего солнечного света. В залах и хранилищах на окнах были установлены роторные шторы со специально сконструированным механизмом их подъема и опускания. При строительстве Нового Эрмитажа старались применять только долговечные материалы - полы первого этажа и колонны выполнены из натурального камня, потолки во многих залах сделаны из листового металла с накладным или живописным орнаментом. Широко использовался высококачественный и разнообразный искусственный мрамор. Массивные двери были изготовлены из красного дерева и кедра. На фасаде здания архитектор установил статуи художников, отлитые из сплава цинка с оловом, гранитные гермы у окон, чугунные и терракотовые украшения над окнами второго этажа с вкомпонованными в орнаментальный узор эмблемами искусства, выполненные скульпторами П. В. Свинцовым, Н. А. Токаревым, А. В. Логановским, В. И. Демут-Малиновским, Д. И. Ненсеном, Н. А. Устиновым, А. И. Теребеневым, Н. А. Рамазановым. В 1852 г. состоялось открытие Императорского Эрмитажа как первого публичного художественного музея в России.
Внутри здания наиболее интересна парадная лестница с эффектными коринфскими колоннами, поддерживающими потолок с глубокими кессонами, а также Большой зал с двадцатью колоннами из сердобольского гранита. Мозаичный пол этого зала, выполненный на Петергофской гранильной фабрике, частично реставрирован мастерами-мраморщиками Эрмитажа в 1983-1987 гг.
К зданию Нового Эрмитажа примыкают Лоджии Рафаэля - галерея, расположенная в специально возведенном вдоль Зимней канавки корпусе. Лоджии повторяют галерею папского дворца в Ватикане, построенную крупнейшим итальянским архитектором Д. Браманте. В отличие от ватиканских лоджий с открытыми аркадами эрмитажные защищены окнами. Поэтому когда в XIX в. понадобилось произвести реставрацию лоджий в Ватикане, итальянские художники приезжали в Петербург копировать утраченные фрагменты.
Росписи, сплошь покрывающие стены и перекрытия галереи, изумляют мастерством исполнения в сочетании с простотой и непосредственностью изображения. Разнообразные животные, птицы, насекомые, гирлянды цветов и фруктов изображены реалистично, но без мелочного натурализма. Они перемежаются с пейзажными вставками. Библейские сюжеты (на сводах и панно под зеркалами) вплетаются в изысканный орнаментальный узор с реальными и фантастическими образами людей, птиц, животных, представленных в гротескной манере и заимствованных мастерами XVI в. из росписей, украшавших античные сооружения. Живопись подчинена единому архитектурному замыслу и в то же время подчеркивает конструктивное членение галереи.