После отставки Н. И. Чичерина в опалу императрицы «за компанию» попадает и его брат – сибирский генерал-губернатор Денис Иванович Чичерин. Екатерина II, по воспоминаниям очевидцев, перестала замечать этого талантливого государственного деятеля, пекущегося о северных краях Российской империи, укрепляющего там влияние России и значимость ее северных границ. По его инициативе были приобретены для Российской империи Алеутские острова – архипелаг из 110 островов и множества скалистых участков на севере Тихого океана, служащих продолжением нынешнего североамериканского полуострова Аляска. Гряда этих островов в виде дуги длиной около 2400 км доходит почти до самой Камчатки, служит как бы соединительным мостом между Азией и Америкой и отделяет Берингово, или Камчатское, море от Тихого океана. Алеутские острова один за другим открыты во время второго путешествия Беринга в 1741 году. В 1785 году там появились первые русские военные укрепленные поселения по инициативе сибирского губернатора Д. И. Чичерина, фактически распространившего на Алеутские острова влияние Российской империи. Однако позже, по торговому сговору 30 марта 1867 года, Алеутские острова вместе с Аляской, за исключением Берингова и Медного островов, перешли в собственность Соединенных Штатов Америки.
В 1777 году энергичный и талантливый сибирский генерал-губернатор, незаслуженно потерявший доверие русской императрицы, вынужден был добровольно подать в отставку и оставить важный административный пост на севере Российской империи. Его брат Николай Иванович также практически самоустранился от государственных и общественных дел, около пяти лет никуда не выходил, и многие его знакомые, даже весьма близкие друзья, тогда были уверены, будто он еще в 1777 году скончался от апоплексического удара непосредственно в Зимнем дворце во время учиненного ему Екатериной II жестокого выговора. После смерти Николая Ивановича у него обнаружилось столько долгов, что его наследники вынуждены были срочно продать поместья и деревни в Тамбовской и Пензенской губерниях, дома в Петербурге и имения в Эстляндской губернии. Подобному, между прочим, никто не удивился, ибо итог широкого гостеприимства земного существования представителя старинного дворянского рода по тем временам отнесли к довольно частым рядовым событиям.
Для погашения всех долгов своего умершего в 1782 году опального батюшки Н. И. Чичерина его наследники – сыновья Александр, Василий и Дмитрий – вынуждены были срочно заложить отчий «дом с колоннами» в Опекунский совет за 30 000 рублей. А позже, в 1792 году, даже продать подаренный Екатериной II значительный по своим размерам престижный участок земли, ограниченный правым берегом реки Мойки, Большой Морской улицей и Невским проспектом вкупе с родительским особняком дворцового типа и многочисленными внутренними хозяйственными дворовыми строениями князю Алексею Борисовичу Куракину (сыну гофмейстера Бориса Александровича Куракина и Елены Степановны Апраксиной и брату князей Александра и Степана, получивших блестящее образование за границей и занимавших важные государственные посты в период правления императора Павла I).
С этого времени знаменитый «дом с колоннами» повторяет судьбу многих своих столичных собратьев – переходит из рук в руки различных владельцев, постепенно меняет облик внутренних помещений и их функциональное назначение, переносит невзгоды и исторические перемены. Однако отрадно отметить, что, несмотря на неоднократные внутренние переделки в доме различными его владельцами, общий наружный облик здания, построенного обер-полицмейстером Санкт-Петербурга Н. И. Чичериным, за истекшие более чем две с половиной сотни лет не претерпел особых изменений. Основа особняка дворцового типа осталась прежней.
Новый владелец «дома с колоннами», князь, камергер и тайный советник Алексей Борисович Куракин, прослужив несколько лет в элитном Конногвардейском полку, в период царствования императора Павла I завершает свою блестящую военную карьеру и занимает весьма ответственные государственные посты. Император назначает его генерал-прокурором с чином действительного тайного советника. При подобном ответственном назначении Павел Петрович обеспечивает князя довольно широким кругом государственных полномочий, позволяющих государственному чиновнику оперативно решать многие важные вопросы внутреннего управления Российской империи.