Каменный детинец Вологды начал сооружаться 28 апреля 1566 года по приказу Ивана IV Грозного в день святых апостолов Иасона и Сосипатра. Это событие впоследствии дало другое название крепости, Насон-город. Руководить работами был приглашён английский инженер Хемфри Локк,по другим сведениям русский инженер Размысл Петров. Царь собирался создать здесь свою резиденцию. Территория кремля ограничивалась с севера рекой Вологдой, с юго-востока был прорыт ров, современная река Золотуха, на юге граница проходила по современной Октябрьской улице, где также был прорыт ров, на западе граница проходила по современной Ленинградской улице, где был прорыт ров и насыпаны земляные валы. Вода в рвы подавалась из реки Содимы, русло которой предположительно было изменено. Строительство сооружений кремля было прервано в 1571 году после неожиданного отъезда царя из Вологды. К этому времени возвели каменную стену с девятью башнями с юго-восточной стороны, две башни с пряслами между ними на юго-западном углу. Внутри детинца был построен каменный соборный храм — Софийский собор и деревянный царский дворец с церковью Иоакима и Анны. После отъезда царя, на месте недостроенных стен был поставлен деревянный острог с 21, по другим сведениям 23, шатровой башней. Полностью каменной была стена с юго-востока и частично с северо-запада. Недостроенный кремль, тем не менее поражал своими размерами.
В описи 1657 года отмечалось, что уже не было деревянных стен с северной и западной сторон. Каменные башни и стены сильно разрушились. К этому времени крепость уже потеряла своё значение. Камень, кирпич используются для строительства церквей и гражданских зданий. После паводка реки Вологды в 1670 году, когда весенние воды размыли земляной вал крепости от Водяных ворот до Ильинского рва, крепость больше не восстанавливалась. В 1780 году часть каменных башен ещё существовала. Но в 1822 — 1823 году при генерале-губернаторе Брусилове при устройстве бульваров разбирается последняя башня вологодской крепости, Пороховая башня. Рвы на современных Октябрьской и Ленинградской улицах засыпаны.
Первый генеральный план Вологды 1780 года основывался на сохранившихся каменных стенах кремля. Его территория была принята за композиционный центр. От него расходились радиальные улицы, лучи, Центральная улица — Пятницкая начинается от Софийского собора, Восточная радиальная улица идёт от Соборной площади по Большой Благовещенской улице, современная улица Батюшкова, и Глинковской набережной, улица Мира. Петербургская, Ленинградская улица, должна была стать западной радиальной улицей.
Территория кремля XX—XXI века — исторический и торговый центр Вологды, носящий редкоупотребляемое название Город, Насон — город. Следы оборонительных сооружений сейчас можно увидеть в виде рвов — прудов парка ВРЗ и реки Золотухи, вала в парке ВРЗ и в фундаментах торговых рядов на улице Мира.
В 2011 году вологодские археологи провели раскопки на территории, на которой должны были находиться Пречистенская и Каменная башни, а также прясла между ними. В ближайшее время найденную крепость внесут в федеральный реестр памятников. Планируется, что найденные во время раскопок артефакты будут экспонироваться с 2013 года в Вологодском историко-архитектурном музее-заповеднике.
