В 1826 году дворец снесли. На его месте Комиссия для окончания строений на Биржевой площади, куда входил архитектор И.Ф. Лукини, начала сооружение Южного пакгауза петербургского порта. Оконченный в 1832 году, пакгауз явился целым комплексом строений. Место дворца занял «дом таможенных чинов», обращенный главным фасадом с двенадцатью полуколоннами к Большой Неве, – дом № 1. Единое целое с ним составил Экспозиционный зал, пристроенный со стороны Биржевой площади. Там весной 1829 года открылась Первая выставка российских мануфактурных изделий. Свыше трехсот промышленников представили четыре тысячи экспонатов общей стоимостью два миллиона рублей: машины и инструменты, чугунное литье и оружие, экипажи и посуду, ткани и мебель, часы и ювелирные изделия. Через десять лет здесь экспонировался первый русский паровоз «Пермяк». Выставки проводились и позднее.
В 1840–1878 годах оба корпуса занимала Рисовальная школа, в которую поступали все желающие, независимо от возраста и образования. Среди преподавателей был И.Н. Крамской. Там учились В.И. Суриков, В.В. Верещагин, И.Е. Репин.
В конце 1890-х годов пакгауз передали для коллекций Зоологического музея Академии наук, находящегося там поныне. В его фонды вошли коллекции крупных ученых-географов Н.М. Пржевальского, М.В. Певцова, Г.Е. Грумм-Гржимайло, П.К. Козлова, Н.Н. Миклухо-Маклая, адмирала К.Н. Посьета, путешественника И.Г. Вознесенского и многих других. В экспозиции музея можно увидеть многие уникальные коллекции – скелетов и чучел доисторических животных, голубых кораллов. В 1931 году на базе музея организовали Зоологический институт АН СССР, который изучает животный мир страны, разрабатывает проблемы зоогеографии, гидробиологии, энтомологии, экологической паразитологии ит. и. В разное время в музее и институте работали академики К.М. Бэр, Ф.Ф. Брандт, П.П. Сушкин, С.А. Зернов, Л.С. Берг, Е.Н. Павловский, В.А. Догель, А.В. Иванов, А.П. Андреянцев и другие ученые.
Необходимые перестройки в здании проводились в 1895–1897 и 1910–1915 годах по проекту архитектора Р.Р. Марфельда.
В конце XIX века во дворе Южного пакгауза была возведена пристройка, где разместился архив Горного департамента. В 1927 году сюда перевели архив Академии наук, где собраны ценнейшие материалы по истории науки. С 1929 по 1963 год его возглавлял выдающийся архивист Г.А. Князев.
Центральное место в застройке набережной занимает здание бывшей петровской Кунсткамеры с его приметной издали башней – № 3. Кунсткамера – первый естественно-научный музей страны, он основан Петром I в 1714 году. В Кунсткамере были собраны коллекции минералов, скелетов животных и птиц, многочисленные анатомические препараты, произведения искусства, коллекции оружия и др. Значительная часть экспонатов была приобретена лично Петром I. После основания Петербургской академии наук Кунсткамера перешла в ее ведение. Впоследствии в ней было создано четыре отдела: собственно Кунсткамера (искусство и этнография), натур-камера (естествознание), мюнц-камера (нумизматика), кабинет Петра I (исторические материалы).
Заложенное в 1718 году, здание Кунсткамеры предназначалось для коллекций и библиотеки. Строительство, продолжавшееся со всеми доделками до 1734 года, вели архитекторы Г.И. Маттарнови, Н.Ф. Гербель, Г. Киавери, М.Г. Земцов. Два трехэтажных симметричных крыла связаны центральным объемом, завершенным многоярусной восьмигранной башней. Уменьшающиеся кверху ярусы создают иллюзию взлета архитектурных форм, а сочетание вогнутых и выпуклых поверхностей стен усиливает динамизм объемов.
Первыми, еще до завершения строительства здания, в 1727 году сюда были перевезены из палат Кикина, находившихся на Шпалерной улице, собранные Петром I коллекции «монстров и раритетов». Помимо библиотеки и музея здесь разместились анатомический театр и первая академическая обсерватория. Здесь работали крупнейшие ученые: Л. Эйлер, Д. Бернулли, Ж.-Н. Делиль, Л.Л. Блюментрост, Г.-В. Рихман, П.С. Паллас, А.Н. Гришов, Н.И. Попов, Ф.И. Шуберт, С.Я. Румовский, А.Н. Савич, С.К. Котельников, В.М. Севергин, Н.Я. Озерецковский и др. С 1793 по 1796 год директором Академии была Е.Р. Дашкова.
Кунсткамера сыграла значительную роль в развитии естественных знаний в России. В 1830-х годах из Кунсткамеры выделились Минералогический, Ботанический, Зоологический, Азиатский, Нумизматический, Египетский и Этнографический музеи. Первые четыре в те же годы были переведены в специально построенное здание на нынешней Менделеевской линии, № 1.