Недостатки амосовского отопления наиболее остро чувствовали хранители Эрмитажа, которые, естественно, всегда очень внимательно и заботливо относились к сокровищам, находящимся на их попечении. В 1866 г. дирекция Эрмитажа обратилась в дворцовое управление с рапортом о вредном влиянии амосовского отопления на экспонаты, особенно на живописные полотна. Начались поиски новой системы отопления. Развитие техники позволяло перейти на водяное отопление, проект которого 14 ноября 1875 г. представил инженер-полковник Вейницкий. Новая система позволяла управлять как температурой, так и обновлением воздуха.
Первоначально в небольшой части здания было решено сделать опытное водяное отопление. Нагрев воды следовало производить посредством водяных калориферов, помещенных в части коридора нижнего этажа Зимнего дворца, обращенной к Адмиралтейству, в Ротонде, Малой церкви и Кутузовском коридоре. Котлы для водяного отопления и трубопроводы изготовлялись на Санкт-Петербургском металлическом заводе. Два водогрейных котла углубили на 1.8 м ниже существовавшего пола для получения необходимой циркуляции нагретой воды по трубам и приборам. Для защиты котлов от грунтовых вод, а также для предупреждения от заливания их высокой водой через окна подвалов они были помещены в железные ящики, которые сделаны из котельного железа наподобие корпуса железных судов. Стенки этих ящиков достигали потолка подвального этажа. Магистральные циркуляционные трубы от котлов в коридоре нижнего этажа были размещены в каналах, находящихся в пазухах сводов. От магистральных труб к каждому калориферу отходили особые отростки, снабженные винтовыми кранами, посредством которых нагревание каждого калорифера можно производить независимо от других.
Создание в части помещений Зимнего дворца водяного отопления не сняло проблемы в целом для всего комплекса зданий. К концу века снова встал вопрос о преобразовании системы отопления. В 1891 г. под председательством действительного тайного советника Э. И. Жибера была образована комиссия.для решения вопроса неудовлетворительного отопления Зимнего дворца и Малого Эрмитажа. В ее работе принимали участие наиболее видные специалисты по отоплению и вентиляции того времени: инженеры С. П. Лукашевич, А. Л. Веденятин, М. Н. Зиберов, Н. В. Смирнов.
После исследования вопроса комиссия выработала общую программу для составления проекта отопления Эрмитажа. В ней предусматривалось создание центрального водяного отопления одновременно для зданий Старого и Малого Эрмитажа с нагревательными устройствами, размещенными внутри отапливаемых помещений. Проект системы отопления по этой программе составлял отставной инженер-полковник Н. В. Смирнов, который закончил его в 1896 г.