Калужская губернская классическая гимназия была открыта 30 августа 1804 года на основании указа Правительствующего Сената «Об устройстве училищ» от 26 января 1803 года путём преобразования четырёхклассного Главного народного училища Калуги, учреждённого в 1786 году. Гимназия помещалась в трехэтажном здании, выстроенном Калужским дворянством в 1782—1785 годах архитектором П. Р. Никитиным (ныне — улица Ленина, 83).
Первым директором гимназии стал Онисим Григорьевич Потресов. В разное время её директорами были: в 1832—1834 гг. — Семён Яковлевич Унковский; в 1834—1851 гг. — мореплаватель Семён Иванович Яновский; в 1851—1882 — Пётр Сергеевич Бибиков; в 1882—1887 — Николай Николаевич Овсянников; в 1887—1892 гг. — Павел Фёдорович Симсон; в 1897—1906 гг. — Николай Васильевич Панкратов; в 1906—1918 гг. — Сергей Васильевич Щербаков.
Состав учащихся гимназии всегда был преимущественно дворянским: в 1810 году из 60 учеников гимназии было 43 дворянина; в 1896 году из 325 учащихся, дворянских детей было 229 человек.
В войну 1812 года гимназия была до марта 1813 года эвакуирована в Рязань..
При гимназии с первых лет существования был пансион, на содержание которого калужские дворяне и купцы делали значительные пожертвования: неприкосновенный капитал пансиона составил 95 тысяч рублей ассигнациями. Проценты с капитала вместе с отпускаемой правительством суммой составляли в год 10 тысяч рублей. На эту сумму содержались в пансионе сыновья родителей из дворянского сословия, в основном обедневших.
С открытием в Калуге в 1860 году женского училища (с 1870 года — гимназия) ряд педагогов преподавал в обеих образовательных учреждениях.
В 1865 году Калужская гимназия была преобразована в классическую с преподаванием латинского языка. Здание гимназии многократно перестраивалось и расширялось, особенно 1900—1902 гг. В это же время был сооружен гимназический храм, освященный 6 декабря 1903 г. в честь святителя Николая. В нем хранилась икона Воскресения Христова с частицей Гроба Господня, высланная в дар гимназии Патриархом Дамианом Иерусалимским по просьбе губернатора Офросимова. В этом же году (с мая 1903) она стала именоваться Калужской Николаевской мужской гимназией.
В результате революционных событий в 1917 году был закрыт пансион, а в 1918 году гимназия была преобразована в Советскую трудовую школу. Сейчас в этом здании размещается один из учебных корпусов Калужского государственного педагогического университета, а в помещении храма находится актовый зал.