Родился 4 октября 1769 г. в деревне Гарусово Новгородской губернии в семье отставного поручика лейб-гвардии Преображенского полка. В 1783—1787 гг. проходил обучение в Артиллерийском и инженерном шляхетском кадетском корпусе. В 1787 г. в чине поручика от армии Аракчеев был оставлен при корпусе преподавать математику и артиллерию. Здесь он составил учебное пособие «Краткие артиллерийские записки в вопросах и ответах».
В 1792 г. Аракчеева перевели на службу в «гатчинские войска» великого князя Павла Петровича. В этот период он сделался любимцем наследника престола: После воцарения Павла I Аракчеев был назначен комендантом Петербурга, произведён в генерал-майоры (1796 г.) и получил баронский титул. В 1797 г. стал командиром лейб-гвардии Преображенского полка и генерал-квартирмейстером всей армии. В 1798 г. император пожаловал ему титул графа с девизом: «Без лести предан». В том же году в артиллерийском арсенале была совершена кража. Аракчеев пытался утаить от императора, что в день преступления караулом командовал его брат. В наказание Павел уволил его со службы. Только в 1803 г. император Александр I принял генерала обратно, назначив его инспектором всей артиллерии и командующим лейб-гвардии Артиллерийским батальоном. В 1803—1812 гг. на посту инспектора артиллерии, а позже и военного министра Аракчеев провёл ряд коренных преобразований в этом роде войск. Система Аракчеева заключалась в том, чтобы обеспечить русской артиллерии высокий технический уровень и самостоятельность на поле битвы. В январе 1808 г. Аракчеев был назначен военным министром. С этого момента его влияние при дворе неуклонно усиливалось вплоть до смерти Александра (1825 г.). Новый министр за неполных два года увеличил армию на 30 тыс. человек, организовал запасные рекрутские депо, позволившие в 1812 г. быстро пополнять действующие воинские части, навёл порядок в финансах и делопроизводстве. В канун Отечественной войны 1812 г. в составе Императорской главной квартиры он находился в Вильно (ныне Вильнюс). После начала военных действий Аракчеев вместе с государственным секретарём адмиралом А. С. Шишковым и генерал-адъютантом А. Д. Балашовым убедил Александра I покинуть действующую армию и вернуться в Петербург. С августа 1814 г. Аракчеев руководил созданием военных поселений, а в 1819 г. стал главным начальником над ними (в 1821—1826 гг. главный начальник Отдельного корпуса военных поселений). В феврале 1818 г. Аракчеев по поручению императора составил проект постепенной отмены крепостного права. Согласно предложению графа, государство должно было выкупать помещичьи имения по согласованным с владельцами ценам. Александр I одобрил проект, но реализован он не был. В царствование Николая I за Аракчеевым сохранилось только командование Отдельным корпусом военных поселений. В апреле 1826 г. он был отпущен в отпуск на воды. Находясь за границей, издал письма к нему Александра I, вызвав этим гнев Николая. Император окончательно уволил Аракчеева со службы и запретил появляться в столице. Умер Аракчеев 3 мая 1834 г. в селе Грузине Новгородской губернии.