В 1866 году Ермолов вместе с Энгельгардтом изучал залежи фосфоритов в средней России (Орловской, Курской и Воронежской губерниях) и возможности применения их для удобрения истощённых пахотных земель. С конца 1860-х изучал агротехнические проблемы (автор работ по агрохимии), вопросы сельскохозяйственного образования. В 1878 году представлял Вольное экономическое общество на Всемирной выставке в Париже. В 1879 опубликовал работу «Организация полевого хозяйства. Системы земледелия и севооборота» (до 1917 выдержала 5 изданий, в 1893 удостоена Макарьевской премии Петербургской АН). С 1880 руководил экспедицией по изучению русского овцеводства, редактор 7-ми томов её трудов. В 1892 году анонимно издал работу «Неурожай и народное бедствие (причины голода и борьба с ним)», в которой изложил свою аграрную программу (имела много общего с будущей программой П.А. Столыпина). Сторонник создания неделимых, неотчуждаемых крестьянских хозяйств, развития хуторского хозяйства, организации переселенческого движения, боролся с идеей национализации земли, её принудительного отчуждения. Дворянство рассматривал как опору самодержавия; видел помощь помещичьим хозяйствам не в бесконечных пособиях разорившимся дворянам, а в укреплении жизнеспособных имений. В 1893 управляющий Министерством государственных имуществ. В 1894–1905 министр земледелия и государственных имуществ.
Именно Ермолову, назначенному 28 марта 1893 г. исполняющим обязанности министра государственных имуществ, было поручено преобразовать министерство. Сильнейший неурожай, охвативший значительную часть страны, последствием которого стала гибель 500 тыс. человек, заставил российские власти более внимательно отнестись к нуждам сельского хозяйства, выдвинув его проблемы в этом ведомстве на первый план и назначив министром земледелия и государственных имуществ очень знающего и образованного специалиста.
О деятельности Ермолова на посту министра существуют разные мнения. Одни называют её началом нового этапа в развитии сельского хозяйства России, другие признают глубокую образованность министра и его личную добросовестность, но отмечают полную неспособность руководить коллективом. Многое позаимствовав у Энгельгардта, он не усвоил его хозяйственной хватки.
В 1904 году Ермолов организовал в своём имении Большая Алешня Ряжского у. Рязанской губ. опытное поле, где проверял прогрессивные методы ведения хозяйства. Содействовал учреждению 8 опытных станций, многочисленных выставок, поддерживал кустарную промышленность. Добивался уменьшения железнодорожных тарифов на провоз сельскохозяйственных продуктов, развития системы сельскохозяйственного кредита, предоставления ссуд на мелиорацию и ирригацию. Изучал и собирал народные приметы, связанные с сельским хозяйством (опубликовал их в книге «Народная сельскохозяйственная мудрость в пословицах, поговорках и приметах», т.
После событий 9 января 1905 г. Ермолов на запрос царя о необходимости преобразований предпринял решительный демарш в их пользу, требуя перемен в управлении для поисков «опоры» «самодержавному правлению». Он указал царю на возможность покушения на него и вероятного отказа войск «стрелять в беззащитную толпу». Ермолов коснулся двух основных проблем государственных преобразований: проблемы представительства и проблемы единства управления.
31 января Ермолов снова обратился к царю. Его крайне настоятельные предложения сводились на этот раз ктрем пунктам. Помимо «полного объединения» правительственной власти Ермолов требовал созыва выборной земской думы, которая бы участвовала в предварительном рассмотрении важнейших законодательных мер, а также легализации обращенных к царю адресов. Доказывая, что полицейский режим может обеспечить «лишь внешний порядок.
Ну а свой пост Алексей Сергеевич Ермолов вынужден был оставить еще в начале мая 1905 г., т. е. практически сразу же после своих не очень, видимо, приятных Государю рекомендаций.
Прощаясь с сослуживцами, А.С. Ермолов говорил, что видел своей главной целью распространение знаний, восстановление высшего сельскохозяйственного образования, средних, а главное, низших специальных учебных заведений. «Я старался вызвать самодеятельность в среде самих сельских хозяев, проявлением которой явились сельскохозяйственные общества, товарищества, союзы».
Позднее А.С. Ермолов передал из своей библиотеки более 10 тыс. книг разным учебным заведениям и обществам, в том числе более 4,5 тыс. библиотеке ученого комитета министерства.