В течение двух лет посадили 5260 деревьев и 12 640 кустарников. На аллеях установили 115 скамеек, а сад окружили решеткой, изготовленной по рисунку инженера К. Жоффрио. Вдоль ограды устроили тротуар из гранитных плит. В июле состоялось торжественное открытие сада. Газета «Петербургский листок» от 10 июля 1874 г. писала: «Открылся Александровский сад весьма торжественно, хотя церемония проходила в дождливый понедельник. Приехал сам император Александр II. Выйдя из коляски, он изволил пройти до газона против портала Исаакиевского собора, где лично посадил дубок. Там же дал согласие на название сада своим именем».
Благоустройству сада уделялось много внимания. В 1876 г. в его западной части по проекту архитектора А. К. Буша построили две полукруглые в плане веранды. Он были украшены резным деревянным декором в русском народном стиле и предназначались для укрытия посетителей в случае непогоды. Со временем в саду появились и другие павильоны и веранды. В 1885 г. по проекту архитектора Н. Л. Бенуа построили оранжерею и домик садовника.
На аллеях в летнее время устанавливались киоски, торговавшие молоком, прохладительными напитками, сластями. В октябре киоски из сада убирали, и назад они возвращались только в мае. Для освещения аллей в вечернее время установили фонари-торшеры. Главную аллею, наследницу Адмиралтейского бульвара, как и прежде, украшали скульптуры Флоры Фарнезской (со стороны Дворцовой площади) и Геракла Фарнезского (со стороны Сенатской площади). С 1899 г. слух гуляющих услаждал своей игрой военный оркестр.
Сначала в саду собирались устроить три фонтана. Каждый предполагалось расположить в створе трех улиц, выходящих к зданию Адмиралтейства — Вознесенского и Невского проспектов и Гороховой улицы. Первый проект представил архитектор И. А. Мерц еще в 1872 г., но его не смогли реализовать из-за высокой стоимости и сложностей в обеспечении водоснабжения. В 1875 г. проект переработали Н. Л. Бенуа и инженер А. Р. Гешвенд, оставившие только один фонтан напротив Главной башни Адмиралтейства. Новый проект одобрили, и в 1876 г. купец Е. Ф. Овчинников приступил к работам по его устройству. В октябре 1879 г. состоялось открытие фонтана, который являлся самым большим в городе.
Тогда же, в начале 1870-х гг., хотели вместо простой калитки устроить новый вход на территорию сада. Один из проектов представил инженер В. А. Гартман. Он видел вход в виде деревянной арки, оформленной в старорусском стиле, но ни один из представленных проектов так не воплотили в жизнь.
Спустя 17 лет после посадки деревья сада разрослись и стали заслонять вид на памятник Петру I («Медный всадник»). Тогда часть сада, занимавшую северную половину Сенатской площади, по распоряжению Александра III уничтожили. Вокруг памятника образовалась просторная территория, на которой разбили цветники. В 1886 г. сад урезали и с восточной стороны, устроив на его месте Дворцовый проезд к наплавному Дворцовому мосту.
На состоявшемся в 1880 г. заседании Городской думы решили украсить сад бюстами известных ученых и литераторов. В первом списке, предложенном для обсуждения, значились имена 14 человек (среди них явно преобладали литераторы) — Кирилла и Мефодия, Нестора-летописца, М. В. Ломоносова, Г. Р. Державина, Д. И. Фонвизина, Н. М. Карамзина, И. А. Крылова, В. А. Жуковского, А. С. Пушкина, А. С. Грибоедова, М. Ю. Лермонтова, Н. В. Гоголя и А. В. Кольцова. Шесть бюстов предполагалось расположить вокруг фонтана, шесть — около статуи Геракла и еще две — около фигуры Флоры.
Полностью этот список так и не утвердили, и впоследствии он несколько раз менялся во время обсуждения в специально созданной комиссии. В нее входили журналист и издатель
A. А. Краевский, архитекторы Н. Л. Бенуа, Ц. А. Кваос и Н. В. Лыткин, библиограф и книжный собиратель А. Н. Неустроев и гласный Думы И. И. Домонтович. Председателем комиссии являлся историк и редактор журнала «русская старина» М. И. Семевский. Несмотря на многочисленность комиссии, практически всю реальную работу вел Н. Л. Бенуа. Именно он организовывал в дальнейшем конкурсы, искал исполнителей, занимался финансовой стороной вопроса, определял места установки памятников.