В 1782 году Курск получил первый градостроительный план, утверждённый Екатериной II. До начала реализации градостроительного плана застройка Курска была хаотичной, улочки беспорядочно петляли, большинство домов были деревянными и располагались в глубине усадеб. По новому плану, имевшему чёткую геометрию строгой сетки улиц, которая во многом сохранилась до наших дней, деревянные здания в центральной части города заменялись на каменные, новые дома строились по красной линии градостроительного плана фасадом на улицу. Для ускорения темпов застройки первых кварталов городские власти в первую очередь уделяли внимание возведению зданий по углам перекрестков улиц. На углу Флоровской и Гостинной улиц по типовому проекту был построен «Дом казначея». Изначально в доме проживал чиновник, занимавшийся приходом и расходом денежных средств города.
После Октябрьской революции в здании размещалось Курское губернское отделение военной цензуры, позднее длительное время дом был жилым. В послевоенные годы в подвальной части помещалась керосиновая лавка. В наши дни в здании располагаются офисы и магазины.
В июле 2012 года комиссия по сохранению объектов культурного наследия в городе Курске утвердила «Дом казначея» в числе других объектов, на которых планируется размещение табличек, сообщающих о названии памятника и дате его возведения.
Небольшой двухэтажный каменный дом в стиле классицизма, первый этаж которого имеет нарядные русты и маленькие окна, а второй — большие окна и четыре пилястры, подпирающие крутой карниз. Здание является примером типовой застройки конца XVIII века, когда для жилых домов централизованно было разработано восемь типов зданий, из которых составлялись кварталы провинциальных городов.