С этого времени Андрей ищет уединения и идет в самые дальние и пустынные места на реку Кену, впадающую в Онегу. Здесь в пустыне Пахомиевой он находит временное успокоение. Напрасно предваряет его Пахомий о многотрудности поприща, им избираемого. «Скорбно место сие», говорил он ему: «братия здесь непрестанно труждается: одни копают землю, другие секут лес, иные возделывают нивы, никто не остается праздным». Андрей остается в монастыре, получает имя Антония, вскоре сан священника, но вскоре же оставляет и этот монастырь, ища большего безмолвия и уединения. Берет он с собою двух иноков, Александра и Иоакима, -и с ними проходит непроходимыми дотоле дебрями и лесами до темного потока реки Емцы. Здесь строят они церковь во имя святого Николая и кельи вокруг; к ним присоединяются еще четыре инока. Семь лет подвизаются они в этом уединении, но местные жители, опасаясь, чтобы пустынники не отняли у них земли, заявляют свое недовольство, и преподобный Антоний принужден искать новое место для пустынножительства. На пути он встречает жителя Яминского стана, именем Самуила, вышедшего на промысел на Лешьи озера. Антоний спрашивает его: «не знает ли он какого-либо места, удобного для поселения иноков». Самуил привел его на дальнее озеро, называемое Михайлова, в которое впадала река Сия. Река эта, проходя через многие озера, открывала живописные виды во всей их первозданной, нетронутой дикости. Тут Антоний водрузил крест, поставил потом часовню и хижину для себя и братии. Дикие звери обитали в соседней тундре и лесах, и никогда, от начала мира, не обитал тут человек. Изредка приходили сюда, окрестные жители для ловитвы, и потому преподобному привелось переносить скорби от чрезмерной скудости: часто не было откуда взять хлеба. Братия не ослабевала, своими руками очищая лес, копая землю и сооружая обитель. Об этом сведал некто Василий Бебрь, сборщик пошлин архиепископских Великого Новгорода, послал на монастырь разбойников, но злое дело кончилось тем, что сам же Василий пришел просить прощения у святого.
Между тем, разнеслась молва об Антонии по окрестным пределам: многие стали приходить к нему с пищею, деньгами и обетом монашеским. Видя умножение братии, Антоний послал к князю Василью Иоанновичу двух иноков, Александра и Исайю, просить великого князя повелеть им строить новое свое богомолье на пустом месте в диком лесу, собирать братию и кругом пахать пашни. С разрешения Василия Ивановича, Антоний начал строить обширную деревянную церковь во имя святой Троицы; и сам написал для нее образ.
Однажды, после утреннего пения, когда уже все вышли из церкви, загорелась она от свечи, забытой пономарем перед иконою. В монастыре тогда никого не было: все разошлись по работам, оставались только немощные и больные, да служители, работавшие в поварне. Уже пламя высоко пылало в церкви, когда послали известить о том преподобного. Старец был далеко и, когда возвратился с братнею, вся церковь была уже объята пламенем: ничего нельзя было вынести и спасти. Церковь сгорела, остались кельи, и братия, видя новую неудачу на новом месте, хотела разойтись. Большого труда стоило преподобному остановить их. Затем Антоний начал строить более просторный храм во имя святой Троицы. Антоний вскоре принял сан игуменский и все-таки, будучи так крепок и здоров телом, что мог трудиться за двух и за трех, не переставал работать наряду с братией. Не знавший преподобного и видя его распахивающим пашню или очищающим лес в убогой власянице, не мог бы признать в нем игумена.
Опять-таки, избегая молвы и почестей и ища большего уединения, блаженный Антоний выбрал на свое место инока Феогноста, а сам, тайно от всех, пошел вверх по красивой реке Сие до озера Дудницы. Здесь был прекрасный остров, в трех верстах от обители. Кругом было множество озер, чрез которые протекала река, идущая в Двину. Здесь построил он хижину и часовню с образом Николы. Но и этой пустынью не удовлетворился Антоний: он избрал новую, за пять верст от первой, на озере Паду. Здесь, в месте, огражденном горами, покрытыми темным, непроходимым лесом, он поставил себе уединенную хижину, около которой белелись двенадцать берез. Устроил он себе небольшой плот, с которого удил рыбу, и при этом обнажал себе голову и плечи, отдавая их на съедение насекомым.