Его первый хозяин, отец Иоанн, происходил из семьи священника лейб-гвардии Семеновского полка, получил духовное образование в Санкт-Петербурге и Москве, рукоположен в 1745 г. московским архиепископом Иосифом (Волчанским) и первые семь лет прослужил в церкви Успения Пресвятой Богородицы в Печатниках. Его перевели в столицу в 1752 г., сделав настоятелем Никольской церкви, и именно при отце Иоанне ее обветшавшую деревянную постройку заменили каменной. В 1762 г. состоялось освящение главного престола нового Никольского Морского собора. На службе присутствовала императрица Екатерина II, которая в дальнейшем неоднократно посещала этот храм.
Яркие проповеди и кипучая деятельность протоиерея Иоанна Панфилова, очевидно, нравились государыне, и в конце февраля 1770 г. она подписала указ, определяющий настоятеля Морского собора ее духовником. В этом статусе отец Иоанн пробыл до конца своей жизни, став, кроме того, членом Священного синода (1774 г.) и митрофорным протоиереем (1786 г.). Скончался духовник императрицы в июне 1794 г. в возрасте 74 лет и похоронен на Лазаревском кладбище Александро-Невской лавры.
После И. И. Панфилова домом владела семья Бороздиных, а в 1820 г. его купил аптекарь Карл Имзен, для которого архитектор В. И. Беретти надстроил здание еще одним этажом.
С именем этого фармацевта связывают выпуск «Имзенского шоколада» и «Имзенова рооба» – продуктов, которые в современном мире называют «бадами». В газете «Санкт-Петербургские ведомости» К. Имзен так рекламировал свой чудодейственный препарат: «Польза многих лекарств из царства прозябаемого при лечении любострастных болезней давно уже известна и ежедневно подтверждается тем, что они одни уничтожают многие виды сих болезней: для уничтожения прочих подкрепляют весьма сильно действие ртути. Истина сия доказывается продажею многих так называемых рообов,[9] выписываемых из чужих краев, равно и ежедневным прописыванием так называемых кровоочистительных декоктов.[10] Потребность сего средства возбудила во мне желание найти состав, который, содержа в себе целительные составные части в концентрированном виде, мог бы самым простым и надежным образом заменять столь часто употребляемые декокты и все иностранные на сей конец приготовляемые рообы. По многим трудам и усилиям удалось мне найти весьма действительное средство от застарелых хронических болезней, известное под именем „Имзенова рооба“. Я могу рекомендовать теперь публике сие средство, исследованное медицинским советом и найденное для предлагаемой цели весьма полезным. Оно может быть полезно: в застарелой венерической ломоте, в последствиях любострастной болезни, после употребления ртути, равно и в болезнях, происшедших от чрезмерного употребления оной».[11]
Перед покупкой дома компанией «Зингер» его последним владельцем числилась Ольга Карловна Жуковская. Здание приобрел ее муж, майор П. В. Жуковский, в 1860-е гг., а в 1870 г. его реконструировали по проекту архитектора Ф. Ф. Рудольфа. Помещения в доме арендовало большое число частных лиц и коммерческих предприятий. Еще в 1820-е гг. здесь работали лавки по продаже чая и кофе, а также бакалейных товаров. С 1829 по 1836 г. в доме размещалась книжная лавка И. В. Сленина.
В 1849 г. в доме К. Имзена открылось «Дагерротипное заведение Сергея Левицкого» (позднее – «Светопись Левицкого»), или, попросту, фотоателье. Сергей Львович Левицкий увлекся дагерротипией в начале 1840-х гг., причем для изучения процесса получения фотографических снимков даже отправился в Париж, где познакомился с автором изобретения Луи Дагером. В России С. Л. Левицкий выступал фотографом русской императорской фамилии, а во Франции получил звание «Фотографа императора Наполеона III». Сохранились фотографические портреты Н. В. Гоголя, А. И. Герцена, Л. Н. Толстого и некоторых других литераторов, созданные Левицким в 1840–1850-е гг. Дагерротипное заведение Сергея Левицкого в Санкт-Петербурге проработало до 1859 г.
В 1866 г., после нескольких лет работы в Париже, Левицкий вернулся в Санкт-Петербург, но вновь открытое им фотоателье разместилось в доме на набережной реки Мойки, 32, и только в 1878 г. фотограф вновь вернулся в дом К. Имзена, где «Светопись Левицкого» проработала 16 лет.
Кстати, после Левицкого в доме вновь разместилось фотоателье, на этот раз принадлежавшее Льву Александровичу Берггольцу, в 1895 г. он занял помещение «Светописи» и проработал в нем до начала работ по строительству здания компании «Зингер» в 1902 г. Господин Берггольц остался в истории и как издатель ежемесячного журнала «Фотографический вестник», выходившего в Санкт-Петербурге в 1867 г.
Из торговых заведений – арендаторов помещений дома Имзена можно назвать два магазина: нотный и книжный, аптеку Д. Х. Штремберга, фотоателье, и, кроме того, здесь же располагался банкирский дом «Лампе и Кo» и находилась редакция газеты «Биржевые ведомости».