Происходит из дворянского рода Брусиловых. Родился в Тифлисе в семье генерал-майора Алексея Николаевича Брусилова (1787—1859). Мать — Мария-Луиза Антоновна, была полькой и происходила из семьи коллежского асессора А. Нестоемского.
27 июня (9 июля) 1867 года поступил в Пажеский корпус. Окончил его 17 (29) июля 1872 года, был выпущен в 15-й драгунский Тверской полк. В 1873—1878 годах — адъютант полка. Участник Русско-турецкой войны 1877—1878 годов на Кавказе. Отличился при взятии турецких крепостей Ардаган и Карс, за что получил орден Святого Станислава 3-й и 2-й степеней и орден Святой Анны 3-й степени. В 1879—1881 годах был командиром эскадрона, начальником полковой учебной команды.
В 1881 году прибыл для прохождения службы в Санкт-Петербург. В 1883 году окончил курс наук отдела эскадронных и сотенных командиров по разряду «отличных». С 1883 года служил в Офицерской кавалерийской школе: адъютант; с 1890 года — помощник начальника отдела верховой езды и выездки; с 1891 года — начальник отдела эскадронных и сотенных командиров; с 1893 года — начальник драгунского отдела. С 10 ноября 1898 года — помощник начальника, с 10 февраля 1902 года — начальник школы. Брусилов стал известен не только в России, но и за границей как выдающийся знаток кавалерийских езды и спорта.
Большое внимание уделял практическим занятиям верховой ездой в Поставской школе парфорсной охоты.
Благодаря протекции великого князя Николая Николаевича был назначен 19 апреля 1906 года начальником 2-й гвардейской кавалерийской дивизии. С 5 января 1909 года — командир 14-го армейского корпуса. С 15 мая 1912 года — помощник командующего войсками Варшавского военного округа. С 15 августа 1913 года — командир 12-го армейского корпуса.
Серьёзно занимался оккультизмом, подчёркивая постоянно при этом «свои чисто русские, православные убеждения и верования»
В день объявления Германией войны России, 19 июля (1 августа) 1914 года, А. А. Брусилов был назначен командующим 8-й армией, которая уже через несколько дней приняла участие в Галицийской битве. 15—16 августа 1914 года нанесла в ходе Рогатинских боёв поражение 2-й австро-венгерской армии, взяв в плен 20 тысяч человек и 70 орудий. 20 августа взят Галич. 8-я армия принимает активное участие в боях у Равы-Русской и в Городокском сражении. В сентябре 1914 года командовал группой войск из 8-й и 3-й армий. 28 сентября — 11 октября его армия выдержала контратаку 2-й и 3-й австро-венгерских армий в боях на реке Сан и у города Стрый. В ходе успешно завершившихся боёв взято в плен 15 тысяч вражеских солдат, и в конце октября 1914 года его армия вступила в предгорья Карпат.
В начале ноября 1914 года, оттеснив войска 3-й австро-венгерской армии с позиций на Бескидском хребте Карпат, занял стратегический Лупковский перевал. В Кросненском и Лимановском сражениях разбил 3-ю и 4-ю австро-венгерские армии. В этих боях его войска взяли в плен 48 тысяч пленных, 17 орудий и 119 пулемётов.
В феврале 1915 года в сражении у Болигрод-Лиски сорвал попытки противника деблокировать свои войска, осаждённые в крепости Перемышль, взяв в плен 130 тысяч человек. В марте овладел главным Бескидским хребтом Карпатских гор и к 30 марта завершил операцию по форсированию Карпат. Германские войска сковали в тяжелейших боях у Казювки его войска и, тем самым, предотвратили наступление русских войск в Венгрию.
Когда весной 1915 года разразилась катастрофа — Горлицкий прорыв и тяжёлое поражение русских войск — Брусилов начал организованное отступление армии под постоянным напором неприятеля и вывел армию к реке Сан. В ходе сражений у Радымно, на Городокских позициях противостоял противнику, имевшему абсолютное преимущество в артиллерии, в особенности тяжёлой. 9 июня 1915 года был оставлен Львов. Армия Брусилова отходила на Волынь, успешно обороняясь в Сокальском сражении от войск 1-й и 2-й австро-венгерских армий и в сражении на реке Горынь в августе 1915 года.
В начале сентября 1915 года в сражении при Вишневце и Дубно нанёс поражение противостоящим ему 1-й и 2-й австро-венгерским армиям. 10 сентября его войска взяли Луцк, а 5 октября — Чарторыйск.
Летом и осенью 1915 года по его личному ходатайству предпринимались многократные попытки расширить в географическом и численном отношениях масштабы депортаций местного немецкого населения западнее Сарн, Ровно, Острога, Изяслава. С 23 октября 1915 года проводилась высылка до сих пор остававшихся на своих местах по решению Особого совещания таких категорий немцев-колонистов как старики старше 60 лет, вдовы и матери погибших на фронте, инвалиды, слепые, калеки. По утверждению Брусилова, они «несомненно, портят телеграфные и телефонные провода». 20 тысяч человек высылалось в 3-дневный срок.
С 17 марта 1916 года — главнокомандующий армиями Юго-Западного фронта.
В июне 1916 года провёл успешное наступление Юго-Западного фронта, применив при этом неизвестную ранее форму прорыва позиционного фронта, заключавшуюся в одновременном наступлении всех армий. Главный удар был намечен на участке одной из четырёх армий, входивших в состав фронта, но подготовка велась во всех четырёх армиях и при том по всему фронту каждой из них. Основная идея обмана — заставить противника ожидать атаки на всем протяжении фронта и этим лишить его возможности угадать место действительного удара и принять своевременные меры к его отражению. По всему фронту, растянувшемуся на несколько сот километров, рыли окопы, ходы сообщения, пулемётные гнезда, строили убежища и склады, прокладывали дороги, сооружали артиллерийские позиции. О месте действительного удара знали только командующие армиями. Подвозившиеся для усиления войска не выводились на передовые линии до самых последних дней. Для ознакомления с местностью и расположением противника от вновь прибывающих частей разрешалось высылать вперёд лишь небольшое количество начальствующих лиц и разведчиков, солдат и офицеров продолжали увольнять в отпуска, чтобы даже таким путём не обнаружить близости дня наступления. Отпуска были прекращены лишь за неделю до атаки, без объявления об этом в приказе. Главный удар в соответствии с планом, разработанным Брусиловым, был нанесён 8-й армией под командованием генерала А. М. Каледина в направлении города Луцка. Прорвав фронт на 16-километровом участке Носовичи — Корыто, русская армия 25 мая (7 июня) заняла Луцк, а ко 2 (15) июня разгромила 4-ю австро-венгерскую армию эрцгерцога Иосифа Фердинанда и продвинулась на 65 км.
Эта операция вошла в историю под названием Брусиловский прорыв (также встречается под первоначальным названием Луцкий прорыв). За успешное проведение этого наступления А. А. Брусилов большинством голосов Георгиевской Думы при Ставке Верховного Главнокомандующего был представлен к награждению орденом Святого Георгия 2-й степени. Однако Император Николай II не утвердил представления, и А. А. Брусилов, наряду с генералом А. И. Деникиным, был награждён Георгиевским оружием с бриллиантами.
Летом 1916 г. в интервью корреспонденту генерал отметил, что победа Антанты гарантирована — и война могла закончиться в августе 1917 года.
Во время Февральской революции поддержал смещение Николая II и приход к власти Временного правительства. Был горячим сторонником создания так называемых «ударных» и «революционных» частей.
А. А. Брусилов — инициатор создания ударных батальонов (нового типа) и частей смерти русской армии.
22 мая 1917 года назначен Временным правительством Верховным главнокомандующим вместо генерала Алексеева. После провала июньского наступления Брусилова сняли с поста Верховного главнокомандующего и заменили генералом Корниловым. После отставки проживал в Москве. Во время октябрьских боёв между красногвардейцами и юнкерами был случайно ранен осколком снаряда, попавшего в его дом. Зимой 1918 года настоял чтоб его сын, А. А. Брусилов-младший, вступил в РККА. В 1920 году его сын погибает. Вероятно, он был взят в плен армией генерала Деникина во время наступления на Москву и позже казнен. Возможно, именно смерть сына подтолкнула тяжело больного Брусилова вступить в РККА.
С 1920 года в Красной армии. С мая 1920 года возглавлял Особое совещание при главнокомандующем всеми вооружёнными силами Советской Республики, вырабатывавшее рекомендации по укреплению Красной армии. В сентябре 1920 года совместно с М. И. Калининым, В. И. Лениным, Л. Д. Троцким и С. С. Каменевым подписал воззвание к офицерам армии барона Врангеля. В воззвании содержался призыв к прекращению Гражданской войны и гарантировалась амнистия всем, переходящим на сторону советской власти.
«Обращение Брусилова» многими из противников советской власти было воспринято как предательство: «Изменил России, предал народ Брусилов! — так сколько же за ним пойдет слабых и колеблющихся? Насколько это воззвание произвело на непримиримых страшное и подавляющее впечатление, — в такой же противоположной мере сильно это подействовало на колеблющиеся массы».
С 1921 года Алексей Алексеевич — председатель комиссии по организации допризывной кавалерийской подготовки. В 1923—1924 годах — инспектор кавалерии РККА. С 1924 года состоял при Реввоенсовете для особо важных поручений.
А. А. Брусилов скончался 17 марта 1926 года в Москве от воспаления лёгких в возрасте 72 лет. Похоронен со всеми воинскими почестями у стен Смоленского собора Новодевичьего монастыря. Могила находится рядом с могилой А. М. Зайончковского.
