Одновременно со строительством Знаменского собора рядом с ним по проекту архитектора Г.В. Гаврилова строился двухэтажный архиерейский дом, в который составной частью вошел фрагмент старого здания 17-го века, принадлежавший архимандриту мужского Богородицкого Знаменского монастыря, о чем свидетельствует древняя комната со сводами, находящаяся на первом этаже.
Кроме помещений для архиерея в новом доме находились комнаты для певчих, монашеской братии и прислуги.
В середине XIX века весь верхний этаж красивого каменною здания с ампирной колоннадой и портиком на западном фасаде был занят помещениями архиепископа, а нижний этаж предоставлен наместнику монастыря, монастырскому правлению и канцелярии Преосвященного.
В период с 1850 по 1853 год между собором и архиерейским домом была сооружена обширная пристройка, на втором этаже которой в большом высоком зале разместилась домашняя Крестовая церковь во имя трех святителей: Василия Великого, Григория Богослова и Иоанна Златоуста. На первом этаже пристройки были устроены кельи. В конце XIX века в этом здании побывал известный церковный деятель Иоанн Кронштадтский.
В 1927 году сюда переехал нынешний областной краеведческий музей после многих переездов из одного здания в другое. Он возник как историко-археологический и кустарный музеи в память посещения города Курска императором Николаем II в 1902 г. Музей был торжественно открыт 18 января 1905 года для горожан и приезжих.
Помог становлению музея выдающийся русский археолог и историк права, профессор Варшавского и Московскою университетов, автор книг «Древние города России», «Архивное дело в России» Д. Я. Самоквасов. Каждое лето он проводил в Курской губернии раскопки курганов и часть своей богатой археологической коллекции передал курскому музею. Император Николай II повелел передать десять тысяч рублей на первоначальное оборудование музея. Среди меценатов, помогавших стать музею на ноги, были: граф С. Д. Шереметев, князья П. Н. Волконский, А. В. Барятинский, Н.В. Голицын, профессор Д. Я. Дурново, действительный статский советник А. Н. Кобылий, секретарь губернского стат-комитета Н. И. Златоверховников и другие.
После Октябрьской революции резко увеличились фонды музея за счет экспроприации научных и художественных коллекций из Ивановского творца князей Барятинских (ныне Санаторий «Марьино»), из помещичьих домов Волкова, Ребиндера, Калдаурова, Логовского и других. В музей поступили великолепная мебель и живописные картины, прекрасный старинный фарфор и высокохудожественный хрусталь, бронзовые н серебряные изделия, нумизматические коллекции. В 1928 году краеведческий музеи, как его тогда именовали, имел десять отделов.
Перед приходом в Курск немецких войск, наиболее ценные музейные предметы были эвакуированы в город Сарапул, а археологические коллекции и изделия из фарфора были упакованы в ящики и зарыты в подвале музея. В ноябре 1941 года по приказу оккупационных властей музей был открыт для посетителей.
Во время войны здание частично пострадало от бомбежек, были разрушены фотолаборатория, столярная мастерская, но с 1 марта 1943 года музей вновь возобновил свою работу.
В восьмидесятых годах 34 зала краеведческого музея ежегодно посещало более ста тысяч человек. Ныне в его музейной экспозиции три отдела природы, истории дореволюционного периода и истории советского общества.
