Более двухсот лет строения на острове были только деревянными. После большого пожара, уничтожившего все монастырские постройки, в 1478 году приступили к строительству первого каменного храма на всём русском Севере — Спасо-Преображенского собора, оконченного и освящённого в 1481 году. Строительство велось на вклад удельного князя Андрея Меньшого, который владел Вологдой, Кубеной и Заозерьем. Белый камень для него доставляли из Старицы, а кирпич из Твери. Кирпич представлял собой плоскую плинфу, век массового применения которой в строительстве на Руси тогда как раз подходил к концу. Было высказано много предположений о том, откуда были мастера, построившие собор. В настоящее время есть основания полагать, что зодчие были приглашены из Ростова, ведь и сам монастырь в ХV веке входил в состав Ростовской епархии.
В архитектуре собора прослеживалось влияние московского и ростовского зодчества. В своём первоначальном виде Спасо-Преображенский собор представлял собой четырёхстолпный трёхапсидный крестово-купольный храм на невысоком подклете. В завершении были три яруса кокошников и две главы, большая, в центре и маленькая, над юго-восточным углом, где находился придел. Обильный декор, покрывавший стены, апсиды и барабаны глав, состоял из керамических рельефных плиток, поребрика, бегунца и нишек. Собор Спасо-Каменного монастыря послужил образцом для возведения последующих храмов в северных монастырях, Ферапонтовом, Кирилло-Белозёрском, Спасо-Прилуцком.
Советская власть закрыла монастырь в 1925 году. Монахов прогнали, а в жилых помещениях попытались устроить колонию для малолетних преступников, которые разбежались уже по осени. Кроме того, осенний пожар повредил многие здания. В 1925 году древнейший храм Русского Севера, к тому времени уже пятиглавый, был уничтожен взрывом. На его месте высится груда щебня. В 1937 году ради кирпича, который хотели использовать для строительства местного Дома культуры, был взорван и Спасо-Преображенский собор. Полученный кирпич так и не удалось использовать для строительства.
