Литературный музей открыт в 1989 г. в самом “литературном доме” Пензы, построенном в конце 18 века под первое всесословное учебное заведение Пензенского наместничества – Главное народное училище. Его воспитанниками были известные ученые – братья Перевощиковы: Перевощиков В. М., филолог, профессор, почетный член Российской академии наук; Перевощиков Д. М., математик, астроном, основатель астрономической обсерватории Московского университета.
В 1804 г. народное училище преобразовано в мужскую гимназию, должность директора которой с 1821 по 1823 гг. занимал Лажечников И. И., впоследствии известный русский романист. В здании бывшего народного училища гимназия функционировала по 1857 г. В ней учились: Белинский В. Г. (с 1825 по 1829 гг.), известный литературный и театральный критик; Буслаев Ф. И. (с 1828 по 1833 гг.), выдающийся филолог, искусствовед, академик; Инсарский В. А., писатель и мемуарист; Салов И. А. (с 1845 по 1849 гг.), писатель.
Среди известных лиц, посещавших гимназию, были: Сперанский М. М. (1818 г.), Лобачевский Н. И. (1842 г.), Жуковский В. А. (1837 г.), будущий император Александр II (1837 г.).
Здание Литературного музея представляет интерес как памятник гражданского зодчества эпохи классицизма. Оно принадлежит к числу наиболее ранних каменных построек города, связанных с начальным этапом формирования регулярной планировки в Пензе.
В XIX – XX вв. здание неоднократно ремонтировалось и перестраивалось. Является объектом культурного наследия федерального значения.
В советское время в разные годы в здании размещались начальная школа и детский сад. В 1983 г. оно передано Объединению государственных литературно-мемориальных музеев Пензенской области для создания в нем Литературного музея. В 1985-1988 гг. здание отреставрировано. В 2012-2013 гг. проведена его реконструкция.
