В 1890 году городской управой был выделен обер-камергеру императорского двора Э. Д. Нарышкину по его ходатайству участок земли под строительство здания для Общества народных чтений. Заложенное 14 мая 1891 года здание, было построено в 1892 году по проекту А. С. Четверикова. Добротное, построенное из красного кирпича, здание нельзя отнести определённому стилю. Главное достоинство заключается в том, что здание может служить образцом высокого мастерства кирпичной кладки. Здание было построено за полтора года с использованием самых современных, к тому времени, строительных материалов. Оно было снабжено водопроводом, канализацией и электричеством. С его вводом город приобрёл прекрасное книгохранилище и огромный зал для собрания общественности на 600 человек. Рядом, с восточной стороны, был построен флигель, на основе старой гауптвахты, с квартирами смотрителя и библиотекаря, с 1894 года он использовался как книжный склад. 1 июля 1894 года была открыта читальня, которая получила название, утверждённое императором, Нарышкинской. В здании было оборудовано книгохранилище или Особая библиотека. В 1896 году открылась Выдачная библиотека, разместился историко-этнографический музей. С историей здания связаны имена многих общественных деятелей, представителей русской культуры, художника В. Д. Поленова, Литературоведа И. П. Хрущёва и других.
В 1918 году на основе художественного отдела Нарышкинской читальни и национализированных произведений из частных собраний Араповых, Баратынских, Болдыревых, Нарышкиных, Строгановых в Тамбове был образован губернский художественный музей, который был закрыт в 1929 году, а его фонды вошли в состав краеведческого музея. С 1932 года на втором этаже работал первый в Тамбове звуковой театр «Комсомолец». В Нарышкинскую читальню в 1923 году было передано Центральное губернское книгохранилище, а через год — Центральная губернская, с 1937 года — областная, библиотека, получившая имя А. С. Пушкина. В 1979 году библиотека переехала в новое, отдельно построенное, здание, а в бывшее здание Нарышкинской читальни в 1983 году была переведена картинная галерея, торжественное открытие которой состоялось в июле того же года.
