В 1896 году в Нижнем Новгороде прошла Всероссийская промышленно-художественная выставка. После этого в городе было создано отделение Технического общества, которое занялось вопросом соединения города железной дорогой. Общество разработало проект дороги Нижний Новгород — Казань. Чтобы не возводить мост через Оку, железнодорожные пути решено было пустить по береговой террасе. Место для вокзала выбрали на правобережье Оки у пристани мукомольных мельниц Дегтярёвых и Башкировых — как раз напротив уже существовавшего на противоположном берегу Московского вокзала.
Вокзал строили с 1900 по 1904 годы. Основные работы взяло на себя Общество Московско-Казанской железной дороги под руководством Григория Будагова. Общий вид нового вокзала был зафиксирован известным фотографом того времени Максимом Дмитриевым.
Изначально его назвали в честь посёлка Ромоданово в Мордовии, происходившего от фамилии его владельцев князей Ромодановских. В 1930-е годы вокзал был дважды переименован — сперва в Арзамасский, а в середине XX века — в Казанский, после того, как поезда стали отправляться до Казани.
До 1945 года вокзал относился к Московско-Казанской железной дороге, после этого был передан в ведение Горьковского ж/д-управления.
Полотно пролегало через опасную горную местность, где часто случались оползни. Для их предотвращения были пробиты дренажные штольни для водоотведения. Работы выполняли вручную, а длина самой глубокой штольни составила 1,5 километра.
В 1961 году был построен Сартаковский железнодорожный мост через Оку, и поезда дальнего следования были пущены по нему до Московского вокзала. В то же время Казанский вокзал перешёл в разряд пригородного. Из-за невостребованности несколько помещений были отданы для обучения студентов-железнодорожников.
В феврале 1974 года случилось несколько оползней, один из которых перекрыл железную дорогу от станции Мыза до Казанского вокзала и Ромодановскую станцию решено было закрыть. Железнодорожное полотно на участке от станции Мыза до станции Горький-Казанский разобрали, а здание бывшего вокзала постепенно начало приходить в упадок. Сначала его покинули студенты, а затем и рабочие.
В 1993 году здание вокзала включили в число архитектурных памятников, но оно продолжало ветшать. В 2003 году его выкупила фирма «Новакард» и вложила в восстановление около миллиона долларов. Реконструкцией руководил Виктор Зубков, здание воссоздавалось по фотографиям Максима Дмитриева и старым чертежам вокзала. Купол пришлось переделывать трижды для того, чтобы он получился идентичным разрушенному. В том же году предприятие «Новакард» переехало в здание бывшего вокзала. Авторы реконструкции вокзала награждены бронзовым дипломом международного фестиваля «Зодчество-2005».
