Строительство дома между Большой и Малой Морскими улицами было начато «в самой скорости», в том же 1771 году, и производилось «с поспешением». Не исключено, что он предназначался в подарок наследнику престола Павлу Петровичу ко дню его совершеннолетия — 20 сентября 1772 года. Копали рвы, били сваи (что причиняло беспокойство Фальконе), делали фундамент. На Урале были заказаны и завезены на место «мраморные штуки» для портала, собирали деревянную модель здания. Каждую неделю Ю.М. Фельтен докладывал И.И. Бецкому о выполненных работах.
Детально сообщалось и о работе «охтинских столяров четырех человек», изготовлявших модель. Они выточили 16 колонн для 1 и 2-го этажей, 18 — для 3 и 4-го, 4 колонны для портала, а также два балкона. Суммируя все сведения о модели, мы можем представить себе в общих чертах облик и самого сооружения.
Это было четырехэтажное здание с двухъярусной колоннадой по главному фасаду. Нижний пояс составляли колонны дорического ордера, верхний, судя по тому, что капители изготовлялись «под резьбу», — коринфского. В центре дома выделялся мраморный портал. Углы здания были закруглены (и, видимо, с балконами) так же, как на соседнем доме Чичерина.
Наверное, не случайно тема двухъярусной колоннады использовалась в обоих сооружениях, воздвигавшихся на участке бывшего деревянного Зимнего дворца. Создавался ансамбль строений. Во всем этом угадывался общий замысел, рука одного архитектора.
Таким образом, можно утверждать, что автором проекта дома Чичерина была императрица Екатерина Алексеевна. Также как и Ю.М. Фельтен, в деталях прорабатывавший решения Екатерины II. Он же, очевидно, и руководил строительством. Позднее, в 1777 году, Ю.М. Фельтену была поручена аналогичная работа — по упорядочению застройки южной стороны Дворцовой площади.
Школа Ф.Б. Растрелли, которую прошел Ю.М. Фельтен, ранее бывший первым помощником этого прославленного обер-архитектора, видна в общей композиции дома Чичерина. Здесь использованы некоторые архитектурные приемы, соответствовавшие вкусам минувшей эпохи. Но вместе с тем это работа зрелого, самостоятельного мастера, осознавшего законы нового архитектурного стиля, способного работать в духе требований нового времени. Здесь ощущается сдержанность, чувство меры в использовании деталей украшений, умение создавать законченность образа.
Дом Н.И. Чичерина строился не только как резиденция вельможи, но и как доходный. Помещения первого этажа, удобные для торговли, снимали купцы. Наверху сдавались покои. Парадные помещения третьего этажа занимал сам хозяин. Но после наводнения 1777 года, когда погибло несколько тысяч человек, Екатерина II обвинила полицию в нерасторопности. Чичерин лишился своей генерал-полицмейстерской должности.
В 1782 году Н.И. Чичерин умер. Через шесть лет его старший сын Александр продал дом видному государственному деятелю (и активному члену масонской ложи) князю А.Б. Куракину. При нем в здании устраивались встречи «вольных каменщиков».
В 1794 году к дому пристроили трехэтажный лицевой флигель на Мойке, который выглядел как рядовая петербургская постройка того времени: отделанный рустовкой первый этаж, гладкие стены, окна со скромной обналичкой, треугольный фронтон в центре.
В 1799 году А.Б. Куракин впал в немилость, и его выслали из города. Дом был продан херсонскому купцу А.И. Перетцу. В числе других жильцов в него поселился и генерал-губернатор С.-Петербурга П.А. Пален, возглавивший заговор против Павла I. Снимал он, очевидно, соответствующие его должности парадные помещения. После мартовских событий 1801 года Палену было приказано покинуть город.
С 1806 по 1857 год дом принадлежал купцу А.И. Косиковскому. По его заказу была сделана пристройка лицевого корпуса по Большой Морской улице. Новое здание строилось в 1814–1815 годах — в период общего воодушевления победой над Наполеоном. Русские архитекторы в это время старались придать своим сооружениям особо величественный облик.
В художественном убранстве главного фасада дома по Большой Морской прежде всего обращает на себя внимание поднятая над улицей торжественная колоннада (12 колонн — напоминание о славном 1812 годе) и два боковых портала с мощными арками на уровне второго этажа. Надежность основания колоннады подчеркивалась сильной рустовкой стен нижних этажей. Антаблемент был украшен гирляндой, выше, в прямоугольном ступенчатом фронтоне находился барельеф, изображающий лавровые венки. Соразмерность и согласованность деталей создавали единый памятный образ. Историком В.И. Пилявским был назван автор постройки — архитектор В.П. Стасов. В этом доме до отъезда на Кавказ жил A.C. Грибоедов.