Ермолов Алексей Сергеевич родился в Тифлисе 12 (24) ноября 1847 года в семье Сергея Николаевича Ермолова (1798—1856) и Марии Григорьевны, урождённой Гежелинской.
По окончании курса в Императорском Александровском лицее поступил на службу в департамент сельского хозяйства (позже департамент земледелия и сельской промышленности) Министерства государственных имуществ и в то же время изучал в течение трёх лет сельскохозяйственные науки в Санкт-Петербургском земледельческом институте, где выдержал экзамен на степень кандидата сельского хозяйства.
Назначенный старшим редактором статистического отдела департамента и членом учёного комитета Министерства, Ермолов руководил экспедицией для исследования овцеводства в России, результаты работ которой изданы впоследствии под его же редакцией.
В 1883 году Ермолов был назначен директором департамента неокладных сборов Министерства финансов. В этой должности Ермолов особенно заботился о восстановлении тесной связи между винокурением, как сельскохозяйственным техническим производством, и земледелием, что и было осуществлено законом 1890 года о мерах к поддержанию сельскохозяйственного винокурения.
В 1892 году последовало назначение Ермолова товарищем министра финансов, а 28 марта 1893 года — управляющим Министерством государственных имуществ, причём на него было возложено преобразование этого министерства в Министерство земледелия, что было им в дальнейшем успешно совершено. Как считает историк И. И. Воронов, «А. С. Ермолов оказался наиболее компетентным и, вероятно, наименее влиятельным министром за всю историю существования Министерства земледелия». Возглавлял Министерство государственных имуществ до его преобразования в 1905 году.
Ермолов много заботился о выяснении нужд сельскохозяйственного образования и кустарной промышленности, об улучшении казённых минеральных вод, о культивировании казённых участков на черноморском берегу Кавказа. В 1886—1888 годах состоял вице-президентом Императорского Вольного экономического общества, в «Трудах» которого, а также в журнале «Сельское хозяйство и лесоводство» и в «Земледельческой газете» он поместил немало специальных статей.
В 1902 г. назначен председателем комитета по оживлению Черноморского побережья. Являлся председателем Центрального Комитета по оказанию врачебно-продовольственной помощи населению, пострадавшему от неурожая в 1906-1907 гг. В 1908 г. был представителем Российского правительства в международном сельскохозяйственном институте в Риме. Был инициатором образования русско-бельгийской и русско-итальянской торговых палат.
С 1906 г. и до своей смерти являлся попечителем Императорского Александровского лицея.
В своей наиболее известной книге «Организация сельского хозяйства» Ермолов предложил решения проблемы севооборотов в крестьянском хозяйстве. Книга была известна и в Германии, оказала влияние на формирование взглядов Ф. Эребо и других представителей школы Betriebslehre.
Свои сельскохозяйственные познания и опыт Ермолов применил в усадьбе Большая Алешня под Ряжском, купленной им в 1900 году у Ивана Всеволожского. При своём имении он устроил конный завод. Сохранились парные особняки в неоготическом стиле, между которыми устроен въезд наподобие триумфальной арки.
В 1896 году Ермолов поддержал проект строительства Приморско-Сестрорецкой железной дороги, а в 1898 году и курорта в устье реки Сестры с использованием источников минеральной воды. Выделял в безвозмездное пользование участки земли на побережье Финского залива для строительства благотворительных оздоровительных, в том числе детских учреждений.
В Сестрорецке его именем были названы Ермоловский проспект (а также соседний Ермоловский переулок), Ермоловский пансионат, Ермоловская церковь, Ермоловский театр, Ермоловский пляж. Местность вдоль Ермоловского проспекта называлась Ермоловка. Эпохи переименований обошли эти места стороной.
