Одной из архитектурных жемчужин Калуги является Гостиный двор, построенный в конце XVIII — начале XIX веков на месте разобранных более древних деревянных торговых построек. Инициатором постройки Гостиного дома стал выдающийся калужский губернатор Михаил Никитич Кречетников, сделавший для города очень много. К строительству он решил привлечь калужское купечество, и на собрании городской думы было решено постепенно сносить деревянные лавки, чтобы на их месте купцы за свой счет построили каменные корпуса по одному плану. Строительство Гостиного двора, как сейчас выразились бы, находилось на контроле в столице, таким образом план и фасад будущего архитектурного ансамбля были утверждены 15-го мая 1782-го года в Санкт-Петербурге. Через два года началось само строительство.
Первыми были построены южные корпуса Гостиного двора, возведены они были на средства местного купечества к 1788 году. Лавки в построенных корпусах были распределены между купцами, вложившимися в строительство. В мае того же года группа из 12-и купцов во главе с Макаром Черновым, недовольная распределением лавок, подала прошение о разрешении им построить «собственным их капиталом полкорпуса соответственно плану». Городская дума возражала, но Губернское правление дало разрешение, и первый северный корпус был возведён рядом с Никитской церковью в августе 1789-го года. Второй северный корпус построили между 1792-м и 1794-м годами на средства города. Пятый по счёту корпус был построен не позднее 1796-го года рядом с первым, выходя торцом на Никитскую улицу.
В августе 1797-го года от купцов поступило предложение по оставшимся корпусам «выстроить семь с уменьшением ширины оных двумя аршинами, сообразно местной удобности и выгодам торговли», вызванное недостаточной для подвоза товаров шириной проездов между корпусами и желанием удешевить строительство. Однако внесение изменений в проект, утверждённый на высочайшем уровне, требовало одобрения в столице, и строительство было приостановлено до его получения, которое произошло только в 1811 году. После этого выяснилось, что первоначальный проект гостиного двора ещё в 1797-м году был выдан из архива землемеру Добрышину, который к этому времени скончался. Перенявший его дела, Тимофей Богомазов в переданных ему бумагах покойного плана не нашёл и по поручению правления представил новый план размещения корпусов 26-го апреля 1811-го года. Чистовой вариант плана, составленный Богомазовым и архитектором Ясныгиным в 1812 году, ныне хранится в областном музее.
Долгие годы был неизвестен автор первоначального плана строительства Гостиного двора, только в 1960-м году благодаря сравнительному анализу было выяснено, что автором проекта является знаменитый архитектор Петр Романович Никитин. За свою плодотворную жизнь он также успел поработать в Твери, Малоярославце, Торжке, Боровске, Твери, Козельске и других городах-кладезях русской архитектуры.
Что касается продолжения строительства Гостиного двора, то оно возобновилось со второго корпуса с севера по Никитской улице, в то время как от купцов было потребовано возвести третий с юга. Однако осенью 1813-го года, когда северный корпус был построен, южный так и не был начат. Тогда, предписанием от 22-го августа 1814-го года новый губернатор губернатор Петр Никитич Каверин передал строительство двух следующих корпусов под ответственность городской думы, которая также не проявила особого рвения. Строительство продвигалось медленно, дума и купцы поочередно выдвигали обоюдные претензии, дошло до привлечения прокурора. В итоге только в 1818-м году было завершено строительство двух следующих корпусов, которые возвели из кирпича прежних лавок, находившихся в этом месте.
За последующие два года под руководством архитектора Ясныгина были построены четыре оставшихся восточных корпуса. В 1821 году рядом с южным корпусом купцы Мешковы начали строить первый из западных корпусов. В марте 1822 года губернатор Никита Кузьмич Омельяненко (уже третий губернатор, при котором строился Гостиный двор) предложил начать строительство оставшегося и закончить его к осени. На это последовали возражения думы, поскольку сначала нужно было снести каменное здание магистрата, лавки в котором были сданы купцам на три года вперёд. Но Губернское правление категорически предписало начать строительство весной 1823-го года, а завершил строительство новый архитектор Фролов.
В результате 39-и лет работы (с перерывами) был построен знаменитый калужский Гостиный двор — один из старейших в современной России. Он представляет из себя 14 корпусов. Корпуса выходящие на север и юг, а также два нижних из выходящих на восток, соединены между собой арками. На одной арке кувшинообразная колонка, а на двух других — готические.
Два южных корпуса поставлены на полуподвальный этаж, который уходит в гору и со стороны двора почти незаметен. По фасаду южные корпуса украшены аркадой, состоящей из девяти массивных колонн, поставленных на кубические основания и с выведенной по фасаду стрелой над каждой колонной. На колонны падают полуциркулярные арки, создающие восемь пролётов. Арки также идут от колонн к стене здания, создавая устой для потолка галереи. Над галереей набегает карниз здания, а над ним поставлен парапет, в виде тяжелой решётки с четырьмя пролётами над каждой аркой, ограниченной тумбами, расположенными над колоннами и увенчанными готическими башенками. В центре парапетов установлена пирамидка на точёной ножке. Боковые входы в галерею образуют стрельчатую равностороннюю арку. Каждый пролёт галереи был рассчитан на один магазин с одной дверью и одним окном по фасаду
Изначально между двумя южными корпусами были ворота во внутренний двор. Со стороны площади они были оформлены кувшинобразными кубышками на массивных четырёхугольных базах. На них опиралась полуциркульная арка, в верхней части заделанная деревянной решёткой и украшенная орнаментом из вышитых крестов. Аттик над аркой напоминает стрельчатое окно в готических зданиях. Северные корпуса по внешнему виду похожи на южные, но без полуподвального этажа. В них аркада начинается непосредственно от земли, а кубышки ворот стёсаны. Из двух западных корпусов, ближайший к северу построен на склоне, поэтому имеет полуподвальный этаж. Галерея каждого из западных корпусов состоит из двенадцати колонн. В пролёте между шестой и седьмой расположен крытый проход во внутренний двор, пронизывающий корпус.
Восточные корпуса выходят на улицу боковой стороной, отделанной тремя полуколоннами, над которыми намечена арка. Между полуколоннами изначально были окно и дверь в магазин, декорированные стрельчатыми полуарками, а также круглое окно над ними. Сейчас весь проём представляет собой арку, верхняя часть которой закрыта решёткой, а в нижнюю полностью занимают прямоугольные дверь и окно. Над карнизом здания устроен парапет, на котором над каждой полуколонной надстроены башенки, а между ними размещены пирамидки. Также оформлены восточные фасады северного и южного корпусов. Арка между южным и первым восточным корпусами по бокам по бокам украшена изображением ромбов. Над ней устроен сердцевидный аттик, грани которого переходят в спиралевидные завитки
После завершения строительства часть помещений Гостиного двора отошла городскому обществу и стала использоваться для общественных нужд или сдаваться в наём. В 1847-м году во втором восточном корпусе была открыта публичная библиотека, которую позже закрыли и возобновила она свою работу только в 1888-м году, при книжном магазине Антипина. Остальные помещения были во владении купцов и периодически переходили из рук в руки. В разное время в Гостином дворе держали торговые лавки такие купеческие фамилии как Антипины, Фалеевы, Макаровы, Билибины, Теренины и Подкованцевы.
К концу XIX века строение сильно обветшало,, а владельцы корпусов начали вносить в их архитектуру свои изменения, что стало приводить к медленной потере исторического облика. Так в восточных корпусах были увеличены оконные проемы; в третьем восточном корпусе сбита центральная колонна и вместо неё пробита дверь. В 1910 году купец Комаров решил переделать фасад корпуса № 4 в стиле модерн и надстроить ещё один этаж, и только из-за вмешательства общественности его план остался не осуществлён. В 1904—1905 годах две колонны в северо-западном углу одного из западных корпусов дали трещину и были разобраны купцом Блистиновым, держащем там лавку, а вместо них устроившим деревянный навес. Точка в самоуправстве была поставлена при Николае Втором, когда здание объявили памятником архитектуры. Однако это не помешало уже в советское время снести четыре колонны, остатки которых летом 1926-го года разобрал городской коммунальный отдел, но в целом здание удалось сохранить.
В 1960-м году Гостиный двор был отнесен к объектам культурного наследия федерального значения. В 1970-х годах городские власти решили разместить в двух южных корпусах универмаги, для чего добились временного снятия их с охраны государством. Два магазина были открыты в 1975-м году и функционируют по сей день. В 1976-м году во время работ по возведению здания обкома КПСС (ныне — здание обладминистрации) площадь Стары Торг была «поднята» и выровнена при помощи завезённого грунта, из-за чего полуподвальный этаж двух южных корпусов Гостиного двора «ушел под землю».
В наше время все корпуса находятся в управлении частных арендаторов, которые должны были сами заниматься их ремонтом. В результате вдоль улицы Ленина фасады корпусов были приведены в более или менее пристойный вид, однако внутри и с противоположной стороны предельно изношены. В 2009 году Гостиный двор был передан из федеральной собственности в областную, а в марте 2010 начались работы по его реставрации, которые были завершены к 2015 году. В настоящее время обсуждается проект, согласно которому внутренний двор Гостиных рядов накроют куполом, но особой надежды на скорое решение нет.