Особенно интенсивное строительство на территории нынешнего кремля, то есть в Архиерейском доме и в Софийском соборе, велось в 60 – 70- х годах XVIII века при вологодском епископе Иосифе II, именуемом Золотым. Подобно многим другим церковным деятелям XVIII века, Иосиф отличался любовью к архитектуре. Главным результатом этих строительных работ можно считать создание его личных апартаментов – роскошных трехэтажных каменных покоев. Иосифивский корпус, поставленный вплотную к южному торцу Гаврииловского корпуса, был построен между 1764 и 1769 годами, о чем свидетельствует торжественная латинская надпись на фризе главного фасада, обращенного внутрь двора. Палаты Иосифа Золотого отличались от всех прочих построек Архиерейского дома не только своей нарядностью, но и новым, еще необычным для Вологды стилем, определенно выразившем влияние западноевропейской архитектуры. Празднично- нарядные фасады этого здания дворцового типа отразили три разновидности стиля барокко: петербургского и значительно более ранних – московского и украинского. Поэтому постройка была роскошной и изящной, исключительной по своей архитектуре не только для Вологды.
В середине 1790-х годов к зданию с западной стороны главного фасада была пристроена лестничная клетка со спаренными полуколоннами по сторонам входа и с оригинальной фигурной крышей-куполом.
Интерьер Иосифовского корпуса почти не сохранил своего первоначального убранства; в отдельных помещениях остались лишь лепная отделка потолков и интересные кафельные печи.
