Сохранившаяся Успенская церковь была построена вместе с трапезной на вклад Василия III в 1543-1549 годах ростовскими мастерами Пахомием Горяиновым и одним из известнейших зодчих ХVI века Григорием Борисовым. Трапезная палата была довольно характерным по своему типу зданием: поставленный на подклет прямоугольный объём с главным зальным помещением, сводчатые перекрытия которого опирались на столб в центре. Успенская церковь примыкала к восточной стене трапезной, но не посередине, а ближе к юго-восточному углу. Это оригинальный храм в виде трёхъярусного столпа. Два нижних яруса его многогранные, первый служил подклетом, а во втором помещалась церковь. Третий ярус с открытыми арками являлся колокольней, отчего и сам храм в древности называли «иже под колоколы». Во второй половине ХVII века церковь получила новое завершение на восьмигранное основание был поставлен барабан с луковичной главкой.
В 2006 году на Каменном острове указом архиепископа Вологодского и Великоустюжского Максимилиана Лазаренко было учреждено архиерейское подворье «Спасо-Каменный монастырь», настоятелем которого был назначен игумен Дионисий, Воздвиженский. В 2009 году в Успенском храме был отслужен первый молебен, а 17 августа 2010 года владыка Максимилиан освятил храм, и с тех пор богослужения в храме стали регулярными. К 2010 году, к 750-летнему юбилею, завершилось восстановление Успенской церкви-колокольни, во втором ярусе которой был устроен небольшой храм во имя Успения Пресвятой Богородицы. 6 октября 2017 года монастырь возрождён официально.
