Когда по скончании курса учения пятнадцатилетний Ермолов явился в Петербург в чине сержанта Преображенского полка, то, поступив на действительную службу, он по недостатку денег не в силах был тянуться за прочими гвардейскими офицерами, державшими и экипажи и огромное число прислуги, а потому стал искать для себя другого рода службы.
1 января 1791 года Ермолов был выпущен капитаном в Нижегородский драгунский полк, слава которого впоследствии гремела на Кавказе в течение целого полустолетия. Ермолов тотчас же отправился в Молдавию, где стоял тогда этот полк. Командиром полка в то время был двадцатилетний племянник шефа полка, графа Самойлова, Н. Н. Раевский, прославившийся впоследствии в войну 1812 года.
В бытность свою в этом полку Алексей Петрович познакомился несколько с артиллериею. При полке находились полковые пушки, имевшие, как у дяди юного Гамлета, одно специальное назначение, стрелять «в знак осушения бокалов». Раевский возымел мысль дать им более целесообразное назначение: он переделал лафеты и переменил расчёт прислуги.
За всем этим Ермолов тщательно следил и приспособлялся, но едва только он стал привыкать к фронтовой службе, как вдруг был вызван опять в Петербург по случаю назначения его адъютантом к графу Самойлову.
В Петербурге молодой и красивый адъютант встретил радушный приём. Наружность Алексея Петровича, прекрасная, одухотворённая, внушительная и до самых преклонных дней его старости удерживавшая на себе внимание мужчин и женщин, тогда, в пору его расцвета, привлекала на него всеобщее внимание: он был высокого роста и отличался необыкновенною физическою силою и крепким здоровьем.
Его большая голова, с лежащими в красивом беспорядке волосами, маленькие, но проницательные и быстрые глаза делали его похожим на льва. Взгляд его, в особенности во время гнева, был просто страшен: из глаз его буквально сверкали молнии. Горцы говорили впоследствии о Ермолове: «Горы дрожат от его гнева, а взор его поражает на месте, как молния».
Как человек домашний у графа Самойлова, Алексей Петрович был членом высшего петербургского общества и каждое утро слыхивал самые откровенные и бесцеремонные отзывы, как нынче говорят, «высокопоставленных лиц», которые по вечерам наполняли зал у Самойлова и которых там, словно всерьёз, просили «принять дань якобы подобающего им глубочайшего почтения».
Шестнадцатилетний юноша присматривался не только к тем, которых осмеивали заочно, но и к тем, кто осмеивал их, и по врождённой ему проницательности угадывал всё нравственное ничтожество среды, в которой вращался. Прошло очень немного времени, и Алексей Петрович стал открыто относиться к этим людям с едким сарказмом, ирониею и насмешками, что, разумеется, очень скоро наплодило ему врагов.
Алексей Петрович Ермолов терпеть не мог немцев и, по-видимому, беззлобно, но непереносно проходился на их счёт, где только к тому представлялся хоть малейший повод. Остроты, которыми Алексей Петрович осыпал немцев, переходили из уст в уста и, конечно, многим не нравились, а «немец немцу, по пословице, всюду весть подавал», и покойный Ермолов под старость не раз говорил шутя: «Нет, господа русские, если хотите чего-нибудь достичь, то наперёд всего проситесь в немцы».
Ермолов не мог увлекаться светскою жизнию; он беспрестанно занимался военными науками и назойливо просил графа Самойлова зачислить его в артиллерию, что наконец и было исполнено.
Восстание в Польше оторвало Алексея Петровича от его научных занятий: он участвовал в этой кампании и получил орден Св. Георгия за штурм Праги.
В следующем году он был отправлен за границу, в Италию, где, будучи прикомандирован к главной квартире австрийского главнокомандующего, участвовал в войне австрийцев с французами. Едва только он успел вернуться в Россию, как в 1796 году принял участие в новом походе персидском, под предводительством графа Валерьяна Зубова.
Начавши службу так удачно, Алексей Петрович с шестнадцати лет приобрёл самостоятельность и репутацию, которые сулили ему блестящую будущность. Но судьба неожиданно подставила ему ногу.
Смоленский губернатор сделал донос на Каховского, брата Алексея Петровича по матери. Тот был взят по этому доносу под арест, а вместе с ним был арестован и Ермолов: его взяли и отвезли в Калугу.
Но чуть только Ермолов явился в Калугу к губернатору, ему было объявлено всемилостивейшее прощение государя и возвращена шпага. Тем не менее, однако, Ермолов счёл себя всем этим крайне оскорблённым и требовал от генерала Линденера объяснений, которых тот ему, разумеется, не дал, но зато тотчас же секретно донёс о нём как «о человеке неблагонадёжном».
Последствием этого нового доноса было то, что за Ермоловым в Калугу был прислан из Петербурга курьер, который и отвёз его прямым трактом в Петропавловскую крепость, где Ермолов потомился под стражею, а затем он был сослан в Кострому.
Там он нашёл другого изгнанника, Платова, впоследствии графа и атамана Войска Донского.