Александр Евгеньевич Ферсман родился 27 октября 1883 года в Санкт-Петербурге.
Отец, Евгений Александрович Ферсман — военный архитектор, участник Турецкой кампании, профессор; мать, Мария Эдуардовна — художник, музыкант; дочь генерала Э. Ф. Кесслера, сестра химика А. Э. Кесслера, племянница зоолога, профессора К. Ф. Кесслера. Дед — Александр Фёдорович Ферсман — учёный-артиллерист. Его старшая сестра, Вера Евгеньевна, родилась в 1881 году.
С 6 лет увлёкся минералогией в лаборатории своего дяди — учёного-химика, профессора А. Э. Кесслера, в имении Кесслеров близ Симферополя, куда приезжал на лето.
В 1895 году поступил в 3-й класс Одесской 4-й гимназии, но уже в 1896 году вышел из неё и продолжил образование дома. В 1898 году вновь поступил в 6-й класс этой же гимназии и окончил её в 1901 году с золотой медалью. В аттестате зрелости от 1 июня 1901 года имел отличные оценки по русскому, логике, латинскому, греческому, математике, математической географии, физике, истории, французскому, немецкому, и 4 балла — по географии, Закон божий не сдавал. За время учёбы 11 раз был на курорте в чешском городе Карлсбад, где лечилась его мать.
С 1901 года учился на естественном отделении физико-математического факультета Императорского Новороссийского университета в Одессе. Также прослушал годичный курс истории искусства. Интерес к геологии и химии Ферсману привил друг семьи профессор П. Г. Меликишвили.
28 августа 1903 года зачислен на физико-математический факультет Московского университета. Здесь он стал учеником В. И. Вернадского, посещал его кружок по минералогии. Первые научные работы Ферсмана были посвящены минералам Крыма: бариту, палыгорскиту, леонгардиту и ломонтиту, уэльситу и цеолитам.
После окончания в 1907 году отделения естественных наук физико-математического факультета Императорского Московского университета с дипломом первой степени по специальности «геология, палеонтология и минералогия», по рекомендации В. И. Вернадского был оставлен на кафедре минералогии для подготовки к профессорскому званию.
В 1907—1909 годах проходил научную стажировку в Германии. Занимался в Гейдельбергском университете; под руководством кристаллографа В. М. Гольдшмидта исследовал природные алмазы и написал большую монографию об алмазах; слушал лекции по петрографии Г. Розенбуша; ездил в Парижский минералогический музей, к минералогу А. Лакруа. В 1908 году путешествовал по Франции и Италии.
После зарубежной командировки, с 14 сентября 1909 года начал работать сверхштатным ассистентом при Минералогическом кабинете Императорского Московского университета. Занимался изучением минералов и драгоценных камней.
В конце 1911 года уволился вместе с другими преподавателями в знак протеста против реакционной политики Министерства народного просвещения в отношении университетов и занял должность профессора в Народном университете им. А. Л. Шанявского, где читал минералогию и первый в мире курс геохимии.
С 1912 года работал в Академии наук; был избран на должность старшего хранителя Геологического и минералогического музея имени Петра I Императорской академии наук. Выезжал в экспедиции для пополнения коллекции музея. В 1919—1930 годах — директор музея, впоследствии — Минералогический музей имени А. Е. Ферсмана, г. Москва. Одновременно, с 1912 года был профессором минералогии Бестужевских высших женских курсов.
Во время Первой мировой войны, с 1915 года — секретарь Комиссии по изучению естественных производительных сил страны (КЕПС), выезжал на фронт. В 1915 году был избран членом Докучаевского почвенного комитета за работы по исследованиям изменчивости минералов в коре выветривания, начальные этапы минерации атомов — в основном магнезиальных силикатов и коллоидных минералах.
1 февраля 1919 года по представлению академиков В. И. Вернадского, А. П. Карпинского и А. Н. Крылова был избран действительным членом Российской академии наук по Отделению физико-математических наук.
В 1920 году стал одним из инициаторов создания минералогического заповедника — Ильменский государственный заповедник.
В 1922 году провёл ревизию Алмазного Фонда, где им были изучены знаменитые исторические камни: бриллиант Орлов, алмаз Шах и другие.
Директор Института археологической технологии при Государственной академии истории материальной культуры, директор Радиевого института АН СССР, заведующий издательством Академии наук, директор Института аэросъёмки, непременный секретарь Отделения физико-математических наук АН СССР, член Президиума АН СССР, вице-президент АН СССР. Член многочисленных советов, комиссий и комитетов.
В 1915—1916, 1923, 1929 годах работал в экспедициях в Забайкалье. Изучал пегматиты, месторождения молибдена, олова, вольфрама, золота, цеолитов, флюорита, радиоактивного сырья в районах Борщовочного, Яблонового, Малханского, Цаган-Опуевского хребтов, в Селенгинской Даурии, на кряже Адун-Челон и Шерговой горе; в 1926 году выделил Монгольско-Охотский металлогенический пояс, обосновал поясное размещение полезных ископаемых, дал общие схемы минерало- и рудообразования.
Организатор комплексных геологических экспедиций. Экспедиции А. Е. Ферсмана открыли Мончегорское медно-никелевое месторождение, Хибинские месторождения апатита, месторождения серы в Средней Азии. Основатель и председатель Хибинской исследовательской горной станции АН СССР «Тиетта», впоследствии преобразованной в Кольский филиал АН СССР, ныне Кольский научный центр РАН. Организовал в системе Академии наук специальный комитет по исследованию территорий союзных республик (ОКИСАР), преобразованный в 1930 году в Комиссию экспедиционных исследований (КЭИ).
В научной работе А. Е. Ферсмана можно выделить три основных направления:
Топоминералогия — отмечающее закономерности пространственного распределения минералов и химических элементов.
Исследование пегматитового процесса — начал изучать пегматитовые жилы ещё в самом начале карьеры.
Геохимия — именно её исследования выдвинули А. Е. Ферсмана в ряды передовых учёных своего времени. Он стал одним из основоположников этой науки.
Для характеристики распространённости элементов в земной коре Ферсман ввёл понятие об атомных процентах, то есть о процентном содержании в земной коре атомов элементов. Атомные проценты и проценты по массе для одного и того же элемента различны. Так, водород по числу его атомов в земной коре занимает третье место, а по массе — девятое.
В 1932 году создал и возглавил Уральский филиал Академии наук СССР и Институт геохимии, минералогии и кристаллографии им. М. В. Ломоносова.
Во время войны работал на должностях:
Председатель Комиссии по геолого-географическому обслуживанию Красной армии при ОГГН АН СССР.
Директор Института геологических наук АН СССР, с 1942 года в Свердловске и Москве.
Директор Базы по изучению Севера АН СССР Сыктывкар.
В 1943 году вышла книга Ферсмана «Геология и война».
В мае 1943 года учёный тяжело заболел. В конце 1943 года его здоровье улучшилось, но читать и писать ему помогала жена и секретари. В декабре 1944 года лечился в больнице от гипертонии.
Скончался от кровоизлияния в мозг 20 мая 1945 года в Сочи, в санатории имени Яна Фабрициуса.
Похоронен на Новодевичьем кладбище в Москве. Памятник на могиле был открыт 20 мая 1965 года.