Сын А. А. Жерве Николай Андреевич с 1831 г. служил в Кавалергардском полку, входил в круг гвардейских офицеров, чье удальство было известно в петербургском свете и не раз вызывало недовольство царя Николая I. Среди его друзей был князь Сергей Трубецкой, который впоследствии за похищение Лавинии Жадимировской, жены почетного гражданина, был заключен в Петропавловскую крепость и разжалован в рядовые. В 1834–35 гг. у Трубецкого Н. А. Жерве познакомился с Михаилом Юрьевичем Лермонтовым, с которым встретится потом на Кавказе, куда Николай Жерве «за шалость» был в 1835 г. переведен поручиком в Нижегородский драгунский полк. В этот же полк был переведен в 1837 г. из Петербурга и Лермонтов за стихи на смерть Пушкина. Николай Жерве, заслужив производство в штабс-капитаны, в 1838 году вышел в отставку и вернулся в Петербург, а вскоре получил разрешение возвратиться с Кавказа и Лермонтов. В 1839–1840 гг. они часто встречались у общих друзей. Бывал Лермонтов и в доме на Малой Морской у Андрея Андреевича Жерве и его жены Софьи Карловны, где жили Николай, его братья – Андрей и Александр – и сестры – Софья и Елизавета.
Помимо просто дружеских отношений и воспоминаний о Кавказе, Н. Жерве и Лермонтова связывала принадлежность к «кружку 16», названному так по числу его членов. Этот кружок, как писал впоследствии о нем один из его участников граф Ксаверий Александрович Браницкий, «состоял частью из окончивших университет, частью из кавказских офицеров. Каждую ночь, возвращаясь из театра или бала, они собирались то у одного, то у другого. Там после скромного ужина, куря свои сигары, они рассказывали друг другу о событиях дня, болтали обо всем и все обсуждали с полнейшею непринужденностью и свободой, как будто бы Третьего отделения собственной Его Императорского Величества канцелярии вовсе и не существовало, – до того они были уверены в скромности всех членов общества…». Неясно, что было известно правительственным кругам о «кружке 16», но в 1840 г. 10 его участников снова оказались на Кавказе. Лермонтов был отправлен на Кавказ после дуэли с де Барантом и там в 1841 г. погиб на дуэли, а Николай Жерве был ранен в бою и после двухмесячных мучений умер от тяжелой раны.
В 1820–1830 гг., когда дом принадлежал А. А. Жерве, во дворе дома по проекту архитектора И. Шарлеманя перестраивались каменный 2-этажный флигель и службы. Сам дом был еще в 3 этажа, четвертый этаж был надстроен в 1850 г. по проекту крупного зодчего К. А. Тона. Дом был в 19 окон по фасаду, с воротами в центре и парадными по сторонам. Завершали фасад по сторонам два полукруглых фронтона.
Часть квартир в доме сдавалась, и, судя по Книге адресов К. Нистрема, в 1837 г. здесь жили Джемс Кун, учитель английского языка Фулиан, учитель музыки, портной Каушман, надворный советник Карл Андреевич Жерве.
До середины XIX века в доме не упоминались торговые помещения, но у нового хозяина, владевшего домом с 1860-х гг. появляется большой магазин русских деревянных изделий. В газете «Голос» 18 марта 1870 г. сообщается, что «вновь получены в огромном выборе чисто в русском вкусе: зеркальные рамы, столы, диваны, стулья, табуреты, вазы и прочее».
В алфавитном указателе жителей Санкт-Петербурга 1867– 1868 гг. указан живущим в этом доме в квартире № 1 отставной полковник Александр Татищев. В рассказе о доме № 19 мы еще вспомним о семье Татищевых. Старший из трех братьев – Александр Александрович – после службы в л.-гв. Гусарском полку вышел в отставку и перешел на службу административную, был тульским и пензенским губернатором, а также предводителем дворянства Крестецкого уезда Новгородской губернии. Он способствовал открытию в губерниях учительской семинарии, нескольких профессиональных училищ для мальчиков и женской рукодельной школы. Как и его брат Дмитрий, он занимался живописью, был дружен с И. Е. Репиным и К. А. Савицким. При открытии в Пензе картинной галереи подарил несколько картин. Дом № 8 в Петербурге принадлежал его жене Лидии Арсеньевне, урожденной Жеребцовой. К Жеребцовым, игравшим важную роль в возведении на престол Екатерины II, эта семья отношения не имела, но ее члены интересны своими связями с известными фамилиями. Глава семейства – ротмистр Арсений Александрович Жеребцов – был женат на Прасковье Николаевне Толстой. Одна из их дочерей – Екатерина Арсеньевна – стала второй женой Никиты Всеволодовича Всеволожского. Мужем другой дочери – Алевтины Арсеньевны – был Петр Александрович Языков, инженер-путеец, занимавший в 1840- е гг. должность инспектора классов Института путей сообщения, а затем – в генеральском звании – директора Департамента железных дорог. Николай Арсеньевич Жеребцов, состоявший членом Императорского вольного экономического общества, затем вице-директор 3-го департамента государственных имуществ, был в конце своей карьеры виленским генерал-губернатором.