Выйдя из тюрьмы, Эстер поселяется в заброшенном домике на окраине Бостона и зарабатывает на жизнь рукодельем. Она столь искусная вышивальщица, что у нее нет отбоя от заказчиков. Она покупает себе только самое необходимое, а остальные деньги раздает бедным, часто слыша в ответ оскорбления вместо благодарности. Ее дочь Перл красавица, но обладает пылким и переменчивым нравом, так что Эстер с ней нелегко. Перл не хочет подчиняться никаким правилам. Первым ее сознательным впечатлением стала алая буква на груди у Эстер.
Печать отверженности лежит и на девочке: она не похожа на других детей, не играет с ними. Видя странности девочки и отчаявшись дознаться, кто ее отец, некоторые горожане считают ее дьявольским отродьем. Эстер никогда не расстается с дочерью и всюду берет ее с собой. Однажды они приходят к губернатору, чтобы отдать заказанную им пару парадных расшитых перчаток. Губернатора нет дома, и они ждут его в саду. Губернатор возвращается вместе со священниками уилсоном и Димсдейлом. По дороге они говорили о том, что Перл — дитя греха и следует забрать ее у матери и передать в другие руки. Когда они сообщают об этом Эстер, она не соглашается отдать дочь. Пастор уилсон решает выяснить, воспитывает ли ее Эстер в христианском духе. Перл, которая знает даже больше, чем полагается в ее возрасте, упрямится и на вопрос о том, кто ее сотворил, отвечает, что ее никто не сотворил, просто мать нашла ее в розовом кусте у дверей тюрьмы. Благочестивые джентльмены приходят в ужас: девочке уже три года, а она не знает, кто ее сотворил. Они решают забрать Перл у матери, и ей удается оставить дочь у себя только благодаря заступничеству пастора Димсдейла.
Познания в медицине и набожность снискали Чиллингуорту уважение жителей Бостона. Вскоре по прибытии он избрал своим духовным отцом преподобного Димсдейла. Все прихожане весьма почитали молодого богослова и были обеспокоены его здоровьем, резко ухудшившимся в последние годы. Люди видели в приезде в их город искусного врача перст Провидения и настаивали, чтобы мистер Димсдейл обратился к нему за помощью. В результате молодой священник и старый врач подружились, а потом даже и поселились вместе. Чиллингуорт, который взялся за расследование тайны Эстер с суровым беспристрастием судьи, все больше подпадает под власть одного-единственного чувства — мести, которая подчиняет себе всю его жизнь. Почувствовав пылкую натуру молодого священника, он хочет проникнуть в потаенные глубины его души и для этого не останавливается ни перед чем. Чиллингуорт все время провоцирует Димсдейла, рассказывая ему о нераскаявшихся грешниках. Он утверждает, что в основе телесного недуга Димсдейла лежит душевная рана и уговаривает священника открыть ему, врачу, причину его душевных Страданий. Димсдейл восклицает: «Кто ты такой, чтобы <…> становиться между страдальцем и его Господом?» Но однажды молодой священник крепко засыпает днем в кресле и не просыпается даже тогда, когда Чиллингуорт входит в комнату. Старик подходит к нему, кладет руку ему на грудь и расстегивает одежду, которую Димсдейл никогда не снимал в присутствии врача. Чиллингуорт торжествует — «так ведет себя сатана, когда убеждается, что драгоценная человеческая душа потеряна для небес и выиграна для преисподней». Димсдейл чувствует к Чиллингуорту неприязнь и корит себя за нее, не находя для нее причины, а Чиллингуорт — «жалкое, одинокое существо, еще более несчастное, чем его жертва» — всеми силами старается усугубить душевные муки Димсдейла.
Однажды ночью Димсдейл идет на рыночную площадь и становится у позорного столба. На заре мимо проходят Эстер Прин и Перл. Священник окликает их, они всходят на помост и встают рядом с ним. Перл спрашивает Димсдейла, постоит ли он здесь с ними завтра днем, но он отвечает, что в день Страшного суда они будут стоять все втроем перед престолом великого судии, но сейчас еще не время и дневной свет не должен видеть их втроем. Темное небо вдруг озаряется — вероятно, это свет метеора. Они видят недалеко от помоста Чиллингуорта, который неотрывно смотрит на них. Димсдейл говорит Эстер, что испытывает невыразимый ужас перед этим человеком, но Эстер, связанная клятвой, не открывает ему тайны Чиллингуорта.