Пустынь названа в честь основателя Свято-Троицкого скита, преподобного Елеазара Анзерского. Елеазарова пустынь основана в конце XVIII века на месте поселения на Анзерском острове преподобного Елеазара Анзерского. Сохранились как фундамент келейного корпуса XIX века, так и фундамент часовни во имя прп. Елеазара Анзерского. В 1825 году была построена небольшая деревянная часовня во имя преподобного Елеазара Анзерского, в которой хранились ряса и Псалтырь, принадлежащие этому святому. Сохранились сведения о трех редких иконах, когда-то находившихся в часовне: святитель Филипп с преподобными Елеазаром и Иринархом, явление Божией Матери преподобному Иову, явление Пресвятой Богородицы преподобному Елеазару. Во времена Соловецкого лагеря в Елеазаровой часовне размещался пикет охранников.
В 1995 году соловецкий отряд арктической морской экспедиции обследовал места, где находилась пустынь. В 1996-1998 гг. на этой территории проводились исследовательские и археологические работы. От старинной Елеазаровой часовни дошли до нашего времени только ветхая дверь и начальный венец сруба. Место расположения часовни было обозначено при помощи деревянного креста.
На данный момент в 2006 году на старом фундаменте выстроена новая деревянная часовня.
