Воронежский дворец является единственным в городе зданием дворцового типа. Построен в 1777—1779 годах в стиле барокко как жилой дом воронежского губернатора генерал-поручика И. А. Потапова. Существуют легенды о том, что дворец предназначался императрице Екатерине II или последнему крымскому хану Шахин-Гирею, однако эти версии несостоятельны.
Размеры дворца относительно небольшие, но при этом здание величественно по своей архитектуре и отличается точностью пропорций. Это вызывает ассоциации с петербургскими дворцами Б. Ф. Растрелли, на основе чего и было мнение, что дворец построил сам Растрелли. Однако скорее всего здание было построено по проекту первого губернского архитектора Н. Н. Иевского, который проходил обучение архитектуре у Д. В. Ухтомского, для творчества которого был характерен стиль барокко. Первый этаж отделан крупным рустом, завершается карнизом и служит своеобразным основанием для двух верхних этажей, объединённых ионическими колоннами. Колонны поддерживают карниз и вплотную примыкают к стене в центральной части фасада, увенчанной фронтоном. Выделяются высокие окна второго зального этажа. В центральной части над этими окнами помещены лепные барельефы на тему оружия разных эпох. Боковые стены украшены треугольными фронтонами, а стены — лепными гирляндами.
После смерти хозяина дворец несколько раз переходил от одного владельца к другому. В начале XX века дворец переходит к городу для организации музея. В 1912—1914 годах были осуществлены реставрационные работы под руководством В. И. Гайна. Но во время Первой мировой войны здание временно занимали медико-санитарные, военные учреждения, а после революции — губархивбюро, губздравотдел со складами. И только в середине 20-х годов оно было передано краеведческому музею. С 1928—1932 годов дворец заслонило собой здание управления Юго-Восточной железной дороги, а в ходе послевоенного восстановления этого здания в нём были сделаны три высокие арки для раскрытия вида на дворец. С 1959 года здесь располагается областной художественный музей им. И. Н. Крамского. В 1984 году к зданию с тыльной стороны был пристроен выставочный зал, закрывший вид на задний фасад с боковыми ризалитами.
