Между тем в начале своего старчествования отец Амвросий, если смотреть по-человечески, очутился как будто среди не совсем благоприятных обстоятельств. Несмотря на то что маститый старец отец архимандрит Моисей, без сомнения, радовался духом, видя принятого им под свое крыло неоперенного птенца Александра Михайловича, сравнительно так скоро успевшего стать на степень старца, могущего руководить других к блаженству вечному путем так называемого «старчества», о введении и упрочении которого в Оптиной пустыни он и молился так горячо в свое время, однако по кончине своего духовного отца старца Макария, имевшего пребывание в скиту, отец архимандрит избрал себе духовником не старца Амвросия, а жившего в монастыре своего младшего родного брата, отца игумена Антония, которого и сам был доселе духовным отцом во все время их совместного пребывания. Так что при этом необычном избрании отец игумен Антоний несколько поусомнился. Но отец архимандрит очень просто разрешил это сомнение брата, сказав: «Ведь апостол велит друг другу исповедать согрешения». Таким образом, с самого начала настоятель как будто несколько отклонился от молодого старца. Это раз. А второе то, что иеромонахи и иеродиаконы и прочие старшие братия как прежде исповедовались у братского духовника — скитоначальника иеромонаха Пафнутия, так и теперь продолжали исповедоваться у него же. Третье, наконец, и мирянам отец Амвросий был мало известен. Таким образом, на долю нового старца Амвросия оставались только некоторые из молодых братий да монахи, порученные ему старцем Макарием, и вновь поступающие послушники, и то не все. Из мирских же людей, хорошо знавших покойного старца Макария, некоторые стали относиться к новому старцу Амвросию даже с неприязнью. Одной, например, барыне, которую кончина отца Макария повергла в глубокое горе, сказали, что в Оптиной новый старец, которого очень хвалят, и что его зовут Амвросий. «Как! — воскликнула она в негодовании. — Чтобы я после Макария пошла к этому монаху, который все вертелся в батюшкиных кельях и расхаживал с мешочком! Это невозможно». И только по времени, как-то случайно вступивши в беседу с отцом Амвросием, вышла уже от него в умилении, и как люди, по обыкновению, впадают в крайность, то прежде корила его, а теперь стала превозносить уже выше старца Макария. «Я знала обоих, — говорила она, — но чувствую, что отец Амвросий еще выше». Из сказанного, между прочим, видно, что как будто отец Амвросий поначалу промыслительно оставлен был на пробу, чтобы достоинство его по времени обнаружилось само собой на деле.