Необыкновенная жизнь блаженного обратила на себя внимание народа. Стали догадываться о его богоугодной жизни, и молва о человеке Божием начала распространяться по окрестностям. Но это также побуждало подвижника оставить Галич. Избегая славы людской, блаженный Андрей ушёл оттуда в Тотьму и поселился близ церкви в честь Воскресения Христова на берегу реки Сухоны. В Тотьме никто его не знал, и потому с большим удобством он продолжал здесь свои великие подвиги. Ночи блаженный Андрей проводил в молитве, а днём, как юродивый, бегал по городу, собирая милостыню. Самому блаженному нужно было очень мало, лишь бы не помереть с голода, поэтому большую часть получаемых подаяний он разделял с другими нищими. Одеждой блаженного Андрея было разодранное рубище, которое только прикрывало его тело, не защищая от дождя и мороза. Обуви он никогда не носил: ходил босым и зиму, и лето. Подвиг юродства труден главным образом ещё тем, что неразумные люди подвергают Христа ради юродивых, как безумных, насмешкам и оскорблениям, поруганию и побоям; это пришлось испытать и блаженному Андрею. Но он терпел всё, потому что, думая постоянно только о Боге, к Нему направляя все силы своего духа, блаженный забывал себя, ни во что вменяя голод, холод, обиды, насмешки и побои – всякие горести и скорби своей многотрудной жизни.
И не напрасны были подвиги блаженного Андрея. В награду за них он получил от Господа обильные дары духовные. Уже при жизни своей святой проявил великую силу чудотворений, и многие больные получили исцеление по его молитвам.
Шёл раз блаженный Андрей на праздник святого архидиакона Стефана (27 декабря) в своё родное село Усть-Толшемское. Стоял декабрь, самое холодное время зимы, а на блаженном была по обыкновению ветхая разодранная одежда, едва прикрывавшая наготу. Сибирские инородцы, кочевавшие в то время на реке Сухоне, встретили его на дороге и, видя босого, полуодетого человека, стоявшего по колени в снегу, догадались, что это блаженный Андрей. По слуху знали они о том, что в Тотьме есть угодник Божий, слышали о его подвигах, о чудесах, через него совершавшихся, и потому узнали блаженного. Их старшина Ажбакай, во Святом Крещении названный Авраамием, страдал в это время глазами и, зная о чудесах блаженного Андрея, начал просить его о своём исцелении. В награду за исцеление Ажбакай обещал много денег. Но блаженный ничего не взял и побежал, не ответив ни слова на его просьбу. Тогда старшина инородцев потёр глаза снегом, на котором стоял юродивый, и получил исцеление.
Тотемский воевода Михаил Григорьевич Ртищев долго страдал сильными головными болями. Не получая ниоткуда помощи, воевода обратился к блаженному Андрею и, призвав его в свой дом, просил его помолиться. Блаженный велел воеводе приложиться к образу Спасителя, находившемуся в его комнате, и когда он приложился к святой иконе, то почувствовал себя здоровым.
На берегу реки Сухоны в Тотьме обыкновенно собирались городские дети и играли в свайку. Во время игры они часто спорили между собою и, так заспорив однажды, беспрестанно сквернословили. Блаженный Андрей слышал это из своей хижины и, не потерпя их сквернословия, погнал детей прочь. Дети побежали от него, но один из них обругал святого и ударил железной свайкою. Господь сохранил блаженного от удара без вреда, но дерзкого мальчика немедленно наказал. Тут же с криком упал он на землю и умер.
Десять лет блаженный Андрей юродствовал Христа ради. Скончался он в молодых годах, всего тридцати пяти лет от роду, вероятно, истощив своё тело тяжёлыми подвигами. Кончина его была мирной и непостыдной. Предузнав заранее день своей смерти, блаженный приготовился к ней. Призвав своего друга – пономаря Воскресенской церкви Иоанна Иаковлева, он отдал ему своё посмертное завещание и потом встал на молитву. Долго молился он о царствующем граде, о городах русских, обо всём мире православном, и усердна была предсмертная молитва святого.
Окончив молитву, блаженный просил себе прощения, затем попросил пригласить священника для исповеди. Когда священник окончил исповедь и причастил блаженного Андрея Святых Таин, подвижник начал склоняться как бы ко сну и, подозвав к себе Иоанна Иаковлева, сказал: «Брат, пришло время разлучения души с телом: приготовь всё нужное для моего погребения».