С постройкой дворца не вполне ладилось. Сделавший проект архитектор Земцов умер, можно сказать, почти не приступив к постройке. Дворец достраивал тот же знаменитый Растрелли. Несмотря на сильное желание Елизаветы Петровны видеть дворец как можно скорее, его строительство замедлилось, и только в марте 1751 г. произошло освящение церкви. В течение первых 26 лет своего существования Аничков дворец принадлежал графу А. Г. Разумовскому, затем пять лет им владел его брат, бывший малороссийский гетман Кирилл Григорьевич, от которого дворец перешел, через покупку его Екатериной II, Потемкину. Потемкин продал царский подарок купцу-откупщику Шемякину. Тогда Екатерина снова купила дворец и вторично подарила его Потемкину, который владел им меньше года и опять-таки продал его Екатерине II. Это была, таким образом, третья купля-продажа. С этого времени дворец оставался в дворцовом ведомстве и сделки с дворцом совершались между лицами, принадлежащими ко двору. До 1794 г. дворец звался Аничковым дворцом, затем в течение 15 лет он был местопребыванием Кабинета министров, а с 1809 по 1812 г. принадлежал любимой сестре императора Александра I, великой княгине Екатерине Павловне. Дворец был назначен ей в приданое при выходе ее замуж за принца Георгия Ольденбургского. Овдовев, Екатерина Павловна вышла замуж за короля Вюртембергского и продала дворец департаменту уделов, а с 1817 г. во дворце поселился вел. кн. Николай Павлович, который, вступив на престол, оставил за собой Аничков дворец, получивший название Собственного его императорского величества дворца. Шесть лет с 1855 по 1861 г. дворец звался Николаевским, затем получил свое старое название.
Таким образом, за свое сравнительно недолгое существование дворец переменил 12 раз и своих владельцев, и свое название.
Для каких только целей он ни служил: в 1790 г., например, в нем помещался Константинопольский трактир. Затем здесь жили иностранные послы. В июле 1775 г. общество российских купцов «делало своим иждивением в Аничковом доме маскарад и вечерний стол по случаю празднования мира с турками». Давались здесь и различные концерты.
На месте Александринского театра стоял большой павильон, в котором помещалась картинная галерея Разумовского, а в другой комнате, напротив в том же павильоне, давались концерты, устраивались маскарады, балы и пр. За дворцом шел вдоль всего Невского пруд с высокими насыпными берегами, и против нынешней Садовой бил фонтан. Нынешняя решетка Аничкового дворца, говорят, сделана по рисунку прусского короля Фридриха-Вильгельма III. Долгое время, еще в 30-х гг. XIX в., видны были фрески работы Гонзаго на полуобвалившихся стенах садовых павильонов, и у решетки на Невском проспекте держался еще небольшой храмик Фемиды.
Там, где стоит Российская национальная библиотека, был питомник растений, позади шли оранжереи, по Садовой улице жили садовники и дворцовые служители, а на углу, против Гостиного двора, стоял дом управляющего Разумовского, Ксиландера.
На другой стороне, на углу Невского и Большой Садовой улиц, находился дом И. И. Шувалова, в то время только что оконченный и назначенный для жительства саксонского принца Карла. Шувалову принадлежал весь квартал, образуемый теперь двумя улицами — Садовой и Итальянской.
В этой же местности находилась Тайная канцелярия при Елизавете, и затем при Екатерине II Комиссия нового уложения.
При переделке этого второго здания, в 40-х гг. XIX в. были открыты неизвестно куда ведущий подземный ход, остовы людей, заложенных в стене, застенок с орудиями пыток, большой кузнечный горн и другие пыточные орудия.
В мае 1746 г. в присутствии императрицы Елизаветы Петровны произошло освящение деревянной церкви, построенной на месте разобранной в 1743 г. Троицкой церкви. Но она простояла недолго, сгорев от неизвестной причины, и на ее пожарище жестоко были биты батогами церковные сторожа. А императрица приказала сооруженную было при ее Летнем дворце (там, где теперь Михайловский замок), но не освященную и разобранную церковь переправить на Петербургскую сторону и воздвигнуть вместо сгоревшего Троицкого собора. История этой разобранной церкви довольно-таки любопытна. Церковь была пристроена к Летнему дворцу и подходила как раз к тому месту, где, по предложению Елизаветы Петровны, должна была быть танцевальная зала. Известно, что Елизавета была любительницей танцев, и так как церковь не была еще освящена, то Елизавета и хотела воспользоваться ею, перестроить и превратить в танцевальный зал. Но против этой перестройки восстал Синод, указавший царице, что непристойно здание, даже только предполагавшееся для церкви, превращать в танцевальный зал. Царица согласилась, церковь была разобрана и лежала в разобранном виде. После пожара Троицкого собора Елизавета вспомнила о ней. Но когда соединили бревна и доски церкви в плоты, спустили в Фонтанку и стали подниматься в Неву, внезапно поднялась буря, плоты раскидало, и, когда церковь доставили на место, оказалось, не достает множества бревен.