Монастырь был основан в начале XVII века святым Галактионом Вологодским. Первоначально именовался Галактионовой пустынью. До 1654 года все строения монастыря были деревянными. В 1654 году на средства, пожертвованные царём Алексеем Михайловичем, был выстроен каменный собор во имя Сошествия Святого Духа, и монастырь получил наименование Свято-Духов.
В 1775 году указом Святейшего Синода обитель переименована в Спасо-Каменный монастырь, по наименованию сгоревшего и упразднённого Спасо-Каменного монастыря, братия которого была переведена в вологодский Свято-Духов монастырь.
Около 1800 года монастырь был обнесён каменной оградой. В 1810—1811 годах к собору Святого Духа была пристроена трёхъярусная колокольня. Каменная церковь Знамения Пресвятой Богородицы построена в 1867 году.
В 1918 году Свято-Духов монастырь был закрыт и передан военному ведомству. С 1 мая по 15 августа 1918 года в монастыре располагался гараж 23-го авто-броне отряда. К лету 1925 года на месте снесённого при закладке стадиона кладбища, которые комиссары от спорта снесли в спешке из-за участия в футбольном первенстве РСФСР 1924 года и затянувшейся земельной тяжбы с Губмузеем о территории спортплощадки «настоятельно рекомендовали» использовать под спортплощадку, был построен стадион «Динамо». Спорить с уполномоченными власти и партии было бессмысленно. Почти одновременно с вердиктом комиссии постановлением Вологодского губисполкома были закрыты церковь Сошествия Святого Духа и часовня в Свято-Духовом монастыре. Затем в церкви Сошествия Святого Духа и здании келий монастыря долгое время размещалось областное управление НКВД и КГБ СССР. Уцелевший корпус келий и перестроенный собор принадлежит МВД.
После Перестройки рядом с территорией бывшего монастыря был установлен мемориал в память жертв политических репрессий.
