Основана в 1680-х годах схимонахом Зосимой, выходцем из Троице-Сергиева монастыря, которому удалось собрать возле себя несколько человек братии. Спустя некоторое время в монастырь устремились многочисленные паломники. Среди них, в частности, была сестра Петра I Наталья Алексеевна. Однако после кончины старца большая часть братии покинула монастырь, который практически запустел. Тем не менее, могила праведника почиталась окрестными жителями как святыня. Сюда, как гласит предание, наведывалась будущая российская императрица Елизавета Петровна, которая не по своей воле долгое время проживала в расположенном поблизости городе Александрове.
Пустынь была восстановлена в конце 1890-х годов стараниями наместника Троице-Сергиевой лавры архимандрита Павла Глебова и назначенного в 1896 году строителем пустыни духовника Гефсиманского скита иеромонаха Германа Гомзина, скончался 30 января 1923 года, явилась одним из центров старчества.
С 1897 по 1923 годы обителью управлял схиигумен Герман. К тому времени относятся все сохранившиеся каменные монастырские здания из красного кирпича, построенные в модном в то время русском стиле. В 1900 году в монастыре был освящён главный храм в честь Смоленской иконы Божией Матери.
С 1898 года до закрытия монастыря в 1923 году здесь подвизался старец Алексий Соловьёв. Он проживал в так называемом «старческом» келейном корпусе, примыкавшем с запада к Святым воротам. Этот корпус был построен на пожертвования великой княгини Елизаветы Фёдоровны.
В 1917 году в монастыре на покое некоторое время жил Макарий Невский.
Пустынь часто посещали члены московского религиозно-философского кружка во главе с Михаилом Новосёловым, который старался приобщить к Зосимовой пустыни своих друзей, особенно колеблющихся, в том числе Николая Бердяева и Сергея Булгакова. Постоянно бывал в Зосимовой пустыни Павел Флоренский.
В мае 1923 года монастырь, существовавший как артель, был окончательно закрыт.
Возобновлён в апреле 1992 года. В июле 1994 года состоялась канонизация основателя обители схимонаха Зосимы, для общецерковного прославления, память 28 июня и 26 июля, и преподобного Германа Гомзина, на епархиальном уровне, память 30 января, а в 2000 году преподобного Алексия Соловьёва, также для общецерковного прославления, память 2 октября.
