В годы пасторства Эрстрёма приход получил новую книгу псалмов. Раньше пользовались изданием 1695 г., а теперь решили ввести новую шведскую книгу псалмов, одобренную в 1819 г. Это, казалось бы, простое решение, принятое в мае 1833 г., поставило Эрстрёма перед совершенно особой и специфически русской проблемой. Дабы заручиться «дозволением властей», пастору пришлось не только снабдить книгу псалмов указателем, но и смягчить в ней некоторые слова и выражения, чтобы не задеть власти. Эрстрём несколько месяцев трудился над переделками, и в мае 1834 г., в День молитвы и покаяния, новая книга псалмов была введена в употребление, пройдя цензуру и будучи дополнена выдержками из «Требника для евангелическо-лютеранских приходов в Российской империи».
Предрасположенность Эрика Густава Эрстрёма к порядку и систематичности наверняка в значительной степени была связана с его научными склонностями. Это касается и интереса к истории прихода. Некоторые его предшественники — Хоугберг и Индрениус — составили на эту тему более или менее краткие обзоры, но Эрстрём стал первым, кто методично трудился над описанием судеб прихода Св. Екатерины с самого его основания. Книга вышла в Або в 1829 г. под названием «Historisk Beskrifning ofver S: t Catharina och S: t Maria Forsamlingar, eller Swenska och Finska Forsamlingarna i S: t Petersburg» («Историческое описание приходов Св. Екатерины и Св. Марии, или Шведского и Финского приходов в С.-Петербурге»). Это систематическое и последовательное изложение пребывания шведов и финнов в Петербурге XVIII — начала XIX в. в сочетании с фактическими данными, статистикой, а также личными комментариями является уникальным источником. Тонкий ум Эрстрёма заметен на каждой странице книги.
Эрик Густав Эрстрём внес эпохальный вклад в жизнь прихода Св. Екатерины, хотя его пасторство оказалось непродолжительным. В 1831 г. скончалась жена Эрстрёма, и он остался один с семью малолетними детьми. Примерно через год он снова женился — на молодой женщине из Борго, которая в 1835 г. родила ему дочь. Через пять недель сам Эрстрём умер от тифа в возрасте всего сорока четырех лет. Газета «St. Petersburger Zeitung» «с болью» констатировала, что петербургская евангелическо-лютеранская консистория потеряла «одного из своих уважаемых за человеческие качества, неутомимых и просвещенных членов».
По церковному уставу 1833 г. евангелическо-лютеранские приходы в России получили дозволение назначать «попечителя церкви», который бы осуществлял связь общины с властями. По предложению Эрстрёма в 1834 г. первым церковным попечителем прихода был избран Роберт Хенрик Ребиндер. Он был министром статс-секретарем по делам великого княжества Финляндского, то есть его официальным представителем в российской государственной администрации. Министр статс-секретарь имел резиденцию в Петербурге и докладывал императору по делам Финляндии. Благодаря этому связи прихода с Финляндией укрепились. Отныне аппарат министра статс-секретаря взял на себя ту роль, которую на протяжении первого столетия играло для прихода шведское дипломатическое представительство.