В начале XIX века в связи с бурным развитием общественной жизни в Калуге возникла потребность в строительстве здания для Дворянского собрания. Первоначальные проекты, разработанные главным архитектором Калужской губернии Николаем Федоровичем Соколовым, так и не были реализованы в жизнь.
Основные работы по строительству дома были проведены в 1848—1850-х годах архитектором из бывших крепостных крестьян Петром Ивановичем Гусевым под наблюдением главного зодчего Калужской губернии Ивана Ивановича Таманского и при участии инженера Александра Дмитриевича Кавелина.
Двухэтажный дом с трехэтажным центром и опирающимся на четыре мощные колонны балконом стал одним из узнаваемых символов города, впоследствии не раз запечатленным на открытках.
Фасад особняка из красного кирпича, построенного в стиле классицизма, украшают белые пилястры с рисунком капителей, образованным волютами (спиралевидными завитками с кружком в центре) и листьями аканта, а внутри взгляд поражает чугунная лестница художественного литья.
Главным из регулярно проводившихся мероприятий были съезды дворянского собрания, проходившие раз в три года. Местом их проведения был парадный зал на втором этаже.
Со временем Дом Дворянского собрания стал одним из центров общественной и культурной жизни города и губернии. Здесь устраивались благотворительные концерты и балы, в частности, в честь приезда в город наследника престола Александра Николаевича (будущего Александра II) проводились художественные выставки, литературные и музыкальные вечера. Здесь давали концерты пианист Николай Григорьевич Рубинштейн и композитор Сергей Иванович Танеев, а во во время пребывания в Калуге дом неоднократно посещали Алексей Константинович Толстой и братья Жемчужниковы.
В 1899 году в залах дома Дворянского собрания действовала выставка картин художников-передвижников, на которой демонстрировались произведения Абрама Ефимовича Архипова, Николая Никаноровича Дубовского, Николая Алексеевича Касаткина, Исаака Ильича Левитана, Михаила Васильевича Нестерова, Василия Дмитриевича Поленова, Ильи Ефимовича Репина, Ивана Ивановича Шишкина, а также уроженца Калужской губернии Иллариона Михайловича Прянишникова.
Со зданием связано немало по-настоящему исторических для Калужской губернии событий. Например, 26 августа 1866 года в большом зале Дворянского собрания вместе со своими сыновьями принял присягу «на верность русскому царю» имам Чечни и Дагестана Шамиль.
В годы первой мировой войны Дворянское собрание стало одним из центров сбора благотворительных средств и проведения благотворительных мероприятий для тех, кто находился на фронте, и для лечения раненых.
После 1917 года бывшая резиденция дворянского собрания стала Домом труда (его также называли Рабочим домом): здание передали профсоюзам. А в 1936 году здесь разместился Дворец пионеров с большим количеством разных кружков. В девяностых здание получило новое название — Дом творчества юных, а сейчас это Областной центр дополнительного образования детей имени Гагарина.
