Первым хозяином участка, на котором он был построен, по документам значится капитан морского флота Валларант. Второй владелец, Ричард Козенс — весьма заметная фигура среди близких Петру I людей. В течение двадцати лет он жил в Петербурге, возглавляя на Адмиралтейских верфях работы по постройке девяти кораблей, и в 1723 году был произведен царем в звание капитан-командора. В Англии его сына, известного пейзажиста Александра Козенса, родившегося в России, даже считали сыном Петра I.
Выделяя этот участок Р. Козенсу, Петр I обещал ему возвести дом за казенный счет, но царь умер, а дом так и не был тогда построен — владелец участка успел лишь заложить для него фундамент.
Когда же в 1733 году императрица Анна Иоанновна потребовала по этому поводу объяснений от Р. Козенса, тот, напомнив ей об обещании царя, ответил, что у него нет средств на возведение здания. Участок после выплаты Козенсу суммы, затраченной на фундамент, был отобран.
В 1735 году императрица отдала этот участок Александру Львовичу Нарышкину — двоюродному брату Петра I.
Сохранившиеся планы и рисунки говорят о том, что к 1738 году А. Л. Нарышкин уже выстроил каменный дом, обращенный фасадом на набережную. Архитектор не установлен. Известно лишь, что в доме жили сам Александр Львович, его жена Елена Александровна, их сыновья Александр и Лев, дочь Аграфена.
После смерти Александра Львовича хозяйкой участка стала его вдова, а затем старший сын Александр Александрович, камергер великого князя Петра Федоровича (будущего императора Петра III), позже обер-гофмейстер императорских высочеств. Его жена, Анна Никитична (урожденная Румянцева), была близкой подругой Екатерины II, наперстницей в ее сердечных делах. Привязанность императрицы к ней была столь велика, что с этим приходилось считаться даже фаворитам. Так, поговаривали, что Платон Зубов занял место фаворита Мамонова не без участия Анны Никитичны. Екатерина II не раз отмечала ее «особые заслуги»: была она пожалована в статс-дамы, награждена орденом Святой Елены. Сумела Нарышкина снискать расположение и Павла I, который назначил ее гофмейстериной Высочайшего двора…
При Нарышкиных в 1770-х годах производились крупные ремонтные работы. Главный дом был перестроен. А. Н. Петров высказал предположение, что автором проекта перестройки был Ж.-Б. Валлен-Деламот, но документально это не подтверждено.
В 1790-х годах Анна Никитична переселилась к своему двоюродному племяннику, графу Н. П. Румянцеву, а особняк в начале XIX века продала генералу от инфантерии, шефу лейб-гвардии Павловского полка, командиру гренадерского корпуса, герою Отечественной войны 1812 года, графу Александру Ивановичу Остерману-Толстому.
Новый хозяин дома принадлежал к одной из самых старых русских фамилий — Толстым. Его отец — генерал-поручик и директор Кадетского корпуса Иван Матвеевич Толстой. Двойная фамилия сына объясняется тем, что в 1796 году с высочайшего разрешения ему передали свой титул и имущественные права бездетные родственники — братья Федор и Иван Андреевичи Остерманы.
Слава «неустрашимого» прочно утвердилась за А. И. Остерманом-Толстым. Он был награжден многими орденами и медалями, удостоен золотой, украшенной алмазами шпаги с надписью: «За храбрость». Орден Святого Александра Невского он получил за Бородинское сражение. Современники вспоминали, как «граф Остерман-Толстой со своим Четвертым корпусом сменил Раевского. ‹…› Он сам несколько раз водил полки отбивать атаки французов и до тех пор находился в передовых линиях центра, пока, сильно контуженный, не принужден был оставить поле сражения». На военном совете в Филях Остерман-Толстой произнес слова, вошедшие в историю: «Москва не составляет России: наша цель не в одном защищении столицы, но всего Отечества, а для спасения его главный предмет есть сохранение армии».
После ранения А. И. Остерман-Толстой некоторое время жил в своем доме на Английской набережной. Он задумал его существенно перестроить. Работы, которыми руководил сам хозяин, производились с таким размахом, что о них заговорили в Петербурге. Однако быстрому завершению помешала продолжавшаяся война. Граф не мог оставаться дома, когда страна была еще в опасности. Он вновь вернулся в действующую армию. В мае 1813 года в сражении под Бау ценом Остерман-Толстой получил ранение, но продолжал руководить войсками, пока не лишился сознания. В августе под Кульмом был тяжело ранен в левую руку. Прямо на поле боя руку ампутировали. По рассказам очевидцев, боясь, что не сможет превозмочь боль и сдержать стонов, граф приказал во время операции играть походному оркестру.