Орловская классическая гимназия была образована из Главного народного училища. Каменное двухэтажное здание было выстроено в 1796 году специально для Орловского главного народного училища, но оказалось вполне приемлемым и для гимназии.
Однако с преобразованием последней в 1833 году (по Уставу 1828 г.) в 4-классную оно уже не было достаточно просторным для увеличившегося числа учащихся, включая и учащихся благородного пансиона (благородный пансион при Орловской гимназии существовал с 1835 года (на улице 2-й Курской) и содержался за счёт Государственного казначейства и, частично, за счёт дворянства губернии). В 1850 году в ней учились 153 человека (из них 124 — дворянских детей) После открытия в 1861 году трёх низших параллельных классов в ней насчитывалось уже 244 человека (из них, дворян — 196, из духовного сословия — 9; остальные из сословий податных состояний).
В 1861 году на расширение здания было сделано пожертвование карачевским дворянином гвардии ротмистром Н.В. Киреевским. Учёба в гимназии шла в 60-70-х годах XIX века в течение восьми лет; последние три года обучение хотя и проходило на одном из двух отделений — филологическом или естественно-математическом, но знания, даваемые на каждом отделении, носили общеобразовательный, а не специальный характер: Закон Божий, русский, латинский, греческий языки, математика, естествознание и физика, история, география, немецкий и французский языки, рисование, черчение и чистописание.
По уставу гимназий и прогимназий (утвержден 19 ноября 1864 г.) гимназии были разделены на общие и классические. Орловская гимназия 17 марта 1863 года стала классической: семиклассной с восьмилетним курсом обучения (седьмой класс делился на два года). Выпускники классических гимназий имели право поступления в университет.В 1867 году в здании гимназии на средства Н. В. Киреевского была устроена Александро-Невская церковь.
Ныне в здании гимназии (пер. Воскресенский, д.5; памятник архитектуры федерального значения) располагается исторический факультет Орловского государственного университета.
