Средства на строительство церкви собирали не только в Петербурге, но и среди единоверцев в Риге, Ревеле и Нарве. 19 мая 1734 г. храм был готов. В том же году на этом участке возвели и дом для главы прихода.
Церковь Св. Анны была простым деревянным зданием, построенным в виде креста, и поначалу в ней не было почти никаких украшений. «Внутри этой церкви нет почти ничего, что можно было бы назвать нарядным», — сообщает Эрстрём. В качестве алтаря использовали обычный стол, а ризница вообще не была отделена от церкви. Лишь спустя десять лет появились средства на алтарь и на запрестольный образ.
Получение участка было связано с решением российского правительства снести все деревянные хибары по Немецкой улице, где стоял дом Майделина, и вместо них выстроить каменные здания. Таким образом, решение императрицы было обусловлено отчасти практическими соображениями. То же относится и к выбору места — Невского проспекта, который в ту пору был улицей для прогулок, а не тем элегантным бульваром, какой в 1860-х гг. Александр Дюма назвал «улицей веротерпимости» (впрочем, это выражение было входу еще в 1790-х гг.).
Густав Леванус, происходивший из шведской области Нюланд, стал первым в череде выдающихся глав прихода; он был одаренным организатором, введшим церковные книги и создавшим настоящий орган управления, состоявший из церковных старост и церковных советов. Были осуществлены важные изменения и в отношении богослужений. Прежде шведская литургия начиналась рано утром, а финская — сразу после нее, в обычное для проведения литургий время, однако это было неудобно для шведскоязычных людей, живших за пределами города. После реформы Левануса финские и шведские богослужения стали проводиться попеременно до и после полудня.
Споры вокруг времени проведения богослужений были признаком углубления всегда существовавших противоречий между шведско- и финскоязычными прихожанами. Довольно скоро раскол принял всеобщий характер. В 1745 г. финны, возглавляемые Эсайасом Ароном Нур-денбергом, вышли из прихода и образовали свой собственный — приход Св. Марии. 20 января 1745 г. Леванус, как он сам записал в требнике, «в последний раз на финском языке причастил святых тайн и исповедал, поскольку произошел раскол из-за посягательств Нурденберга на приходы». В приходе Св. Анны остались только шведско-язычные прихожане из Швеции и Финляндии. Что касается «пастора» Нурденберга, то вскоре он был разоблачен как «спившийся абоский моряк» и уже через год отстранен от пасторской должности.