Дома Строганова, Демидова и Милославского были снесены в начале XIX века. На месте последнего в 1826–1832 годах под наблюдением архитектора И.Ф. Лукини был сооружен северный пакгауз Петербургского порта. Главный фасад с двенадцатью колоннами обращен к Малой Неве. Тут располагались портовые службы. В дальнейшем, подобно южному пакгаузу, его передали Академии наук. В 1920-х годах сюда с Менделеевской линии переехал Геологический и минералогический музей Академии наук, директором которого в то время был академик П.П. Сушкин. Препаратором музея работал И.А. Ефремов, в будущем выдающийся писатель-фантаст. В 1934 году коллекции музея были перевезены в Москву, затем вновь возвращены в Ленинград. В 1947 году Геологический музей, получивший имя А.П. Карпинского, работал здесь, пока не был закрыт в 1962 году.
В 1930-х годах на основе коллекций музея был создан по инициативе академика А.А. Борисяка Палеозоологический (позднее Палеонтологический) институт, переехавший позднее в Москву. Но изучение геологических вопросов в этом здании не прекратилось. В 1949 году была основана Лаборатория геологии и геохронологии докембрия Академии наук, пребразованная в институт. Основателем института был академик А.А. Полканов. В числе задач института – изучение пород Балтийского щита.
По этому же адресу находится и Институт химии силикатов имени Н.В. Гребенщикова. Институт, образованный в 1948 году, вырос из лаборатории химии силикатов. Академик Гребенщиков был директором института с 1948 по 1953 год. Среди его наиболее известных работ – изучение свойств прозрачных материалов. С 1953 года институтом руководил Н.А. Торопов, один из основоположников неорганического металловедения. С 1948 по 1961 год здесь работал член-корреспондент АН СССР Н.И. Качалов, внесший выдающийся вклад в развитие технологии изготовления оптического и художественного стекла.
В этом же здании располагается и Институт огнеупоров. Во дворе находится Лаборатория научно-прикладной фотографии и кинематографии РАН (ЛАФОКИ). В 2000-х годах в первом этаже здания со стороны Малой Невы открыли клуб и ресторан PLAZA.
Несколько построек первой четверти XVIII века находилось и на месте дома № 4. Они принадлежали семье Лопухиных, вице-губернатору столицы С.Ф. Клокачеву, московскому губернатору К. А. Нарышкину. Стоявший на углу набережной и нынешней Тифлисской улицы дом Нарышкина в дальнейшем занимала городская ратуша, а с 1730-х годов – портовая таможня. В ведение порта перешли и соседние здания. Но по мере развития порта таможенным учреждениям становилось тесно в неприспособленных домах. В 1829–1832 годах было сооружено трехэтажное здание специально для таможни, решенное в формах позднего русского классицизма. Главный фасад с портиком из восьми ионических колонн, опирающихся на выступ первого этажа, обращен к Малой Неве. На фронтоне – медные статуи Меркурия, Нептуна и Цереры – древнеримских богов, покровителей торговли, мореплавания и плодородия. Увенчанное куполом на высоком барабане, здание расположено симметрично Кунсткамере, относительно оси ансамбля Стрелки. Строителем его был архитектор И.Ф. Лукини.
Перед зданием бывшей Таможни находится гранитный спуск с широкой лестницей и фигурами лежащих львов. Он был сооружен под наблюдением архитектора Н.В. Рогинского в 1806–1809 годах.
В 1903 году портовую таможню перевели на Гутуевский остров, а здание передали учреждениям Министерства финансов – Акцизному управлению, Губернскому казначейству и т. и. Часть здания еще с 1885 года была перепланирована под квартиры. В 1906–1917 годах небольшая часть здания вновь использовалась таможенным ведомством.
С 1917 года в двух нижних этажах разместились учреждения, а третий отвели под квартиры. С 1927 года здание принадлежит Институту русской литературы РАН – Пушкинскому Дому. При нем находится и Литературный музей. Они ведут свою историю от небольшой выставки 1899 года, посвященной столетию со дня рождения А.С. Пушкина. С изучения творческого наследия великого русского поэта началась деятельность института, учрежденного в 1905 году и преобразованного в 1930 году в научно-исследовательский. Основателями и руководителями Пушкинского Дома были выдающиеся ученые – Н.А. Котляревский и Б.Л. Модзалевский. Во главе его стояли А.В. Луначарский, М. Горький, академики С.Ф. Платонов, П.И. Лебедев-Полянский, А.С. Бушмин. В архиве института и музее хранятся многочисленные материалы, связанные с жизнью и творчеством А.С. Пушкина, М.Ю. Лермонтова, И.С. Тургенева, Л.Н. Толстого и других выдающихся писателей. История Пушкинского Дома отмечена именами работавших здесь В.М. Жирмунского, М.П. Алексеева, В.Ф. Шишмарева, Н.К. Пиксанова, Д.С. Лихачева и других крупнейших ученых.