На подаренном участке Черкасов построил каменный солидный барский особняк в три этажа на подвалах с двухэтажными каменными флигелями. Кабинет-секретарь, вероятно, был человеком состоятельным, поскольку все его строения на набережной Мойки выглядели превосходно, ибо были возведены из прекрасного по качеству и внешнему виду «лицевого голландского кирпича». Историк архитектуры и градостроительства М.Н. Микишатьев в своей последней работе (2010 г.) с удовлетворением отмечал, что конюшни этого замечательного усадебного комплекса и капитальные стены барского дома на Мойке, 12, прекрасно сохранились до наших дней, одновременно он делает вывод, что «судя по документам конца 1730 – начала 1740-х годов, застройка усадебного барского комплекса И.А. Черкасова к этому времени полностью определилась».
Александр Сергеевич Пушкин, изучая историю своего рода, обнаружил, что в этот дом на Мойке приходили письма, написанные рукой его знаменитого прадеда Абрама (Ибрагима) Петровича Ганнибала. Письма адресовали Ивану Антоновичу Черкасову, первому владельцу особняка, человеку петровского круга, из тех, кого отличал Петр Великий – не по происхождению, а по уму и делам. И.А. Черкасов – сподвижник в делах царя Петра, становится его кабинет-секретарем, а его приятель царский арап Абрам (Ибрагим) Ганнибал в это время возвратился в Россию из Франции после изучения инженерного дела.
В царствование императрицы Анны Иоанновны Россия, избавившаяся от временщика князя А.Д. Меншикова, получила других, гораздо более алчных и менее одаренных фаворитов царицы. На целое десятилетие фактическим распорядителем при императорском дворе стал граф Э.И. фон Бирон. Не доверяя никому, он тогда организовал в империи собственную сеть полицейского сыска и надзора. Любое недовольство, часто даже мнимое, жестоко каралось. Громкие политические расследования, грубые способы наведения дисциплины в армии, многочисленные казни, происходившие от имени Анны Иоанновны, усиливали недовольство засильем иноземцев. Недовольных казнили и высылали из столицы. В списке противников временщика Бирона оказался и И.А. Черкасов, отправленный в сибирскую ссылку. Правда, Елизавета Петровна, взойдя на российский престол, немедленно вернула Ивана Антоновича из ссылки и назначила своим кабинет-секретарем, щедро возместив ему материальный и моральный ущерб, нанесенный Бироном. Императорское финансовое вознаграждение позволило кабинет-секретарю быстро восстановить пришедшее в упадок в период ссылки владельца хозяйство и даже перестроить свой каменный особняк на Мойке, оформив его фасад и апартаменты в голландском стиле. Соответственно облик дома № 12 на набережной реки Мойки во многом изменился, он превратился в огромный каменный особняк дворцового типа с фасадом, красиво выложенным блестящими голландскими кирпичами.
Жизнь вошла в спокойное деловое русло. Ивана Антоновича по-прежнему высоко ценили на службе и уважали, ибо он оставался неизменен в преданности своим друзьям, особенно тем из них, к кому судьба бывала неблагосклонна. К нему в дом № 12 на Мойке приходили письма от И.П. Ганнибала с просьбами о помощи по праву старой дружбы. Прадед А.С. Пушкина тогда служил в Ревеле в должности обер-коменданта и не мог примириться со своеволием армейского командования в обращении с солдатами. С негодованием он писал своему старому приятелю: «Солдатства многие употребляемы были яко собственные холопы, а когда зима придет, то солдаты немалую бедность претерпевали за неимением к топлению печей дров. А за жалобы в Петербург на непорядки эстляндский губернатор паче злится».
Дом № 12 на Мойке является свидетелем жизни его обывателей и владельцев, в том числе курьезных случаев и, казалось бы, совсем невозможных жизненных коллизий.
После смерти Ивана Антоновича Черкасова, для которого, вероятно, не было во всем мире более ненавистного и презренного имени, чем временщик Бирон, его любимый сын и наследник А.И. Черкасов, президент Медицинской коллегии, вдруг женился на дочери заклятого недруга своего отца Эрнста Иоганна графа Бирона – создателя реакционнейшего режима в России («бироновщины»). Бирона арестовали в 1740 году и заключили в Шлиссельбургскую крепость, сначала приговорили к смертной казни, а затем заменили ее на пожизненную ссылку в Сибирь. И вот теперь принцесса Бирон, в замужестве Черкасова, становится полновластной хозяйкой дома № 12 на набережной реки Мойки. Мало того, в 1762 году в этом доме остановился ее отец – герцог Бирон, помилованный императором Петром III. Реабилитированный временщик возвращался тогда из сибирской ссылки к себе в Курляндию и уже не искал в столице ни власти, ни почестей. А временное пристанище обрел в доме человека, безвинно им осужденного и жестоко наказанного. В особняке любимца Петра Великого на обширном участке дома № 12, согласно легенде, в период пребывания Ивана Антоновича Черкасова в суровой сибирской ссылке, временщик, большой любителей лошадей построил здесь конюшни, оставшиеся в народной памяти под именем «Бироновых».