Особняк шляхтичей Кудиновичей возвели в 1772 году, однако к окончанию его строительства Витебск перешел Российской империи, и здание передали дворянскому собранию. С 1806 года здесь располагалась резиденция генерал-губернатора Витебска. Впоследствии под руководством Федора Санковского здание реконструировали: пристроили южный корпус, возвели театр, концертный зал, церковь. Среди известных гостей, останавливающихся во дворце, — Наполеон Бонапарт, великий князь Константин Павлович и император Александр II. В советское время во дворце располагались Витебский исполком, управление КГБ и другие органы государственной власти. В годы войны дворец почти полностью разрушили, но впоследствии его восстановили в первоначальных формах.