По одной из современных версий, это была первая каменная башня нового кремля, заложенная под названием Тверская, в 1500 году. Предпочтение версии о начале строительства именно с этой башни в том, что она обороняет важнейший участок города с торговым посадом и пристанями. Также имеется легенда об осаде города в 1505 году объединёнными силами казанцев хана Мухаммед-Эмина и его шурина мурзы Ногайской орды. Согласно ей, смерть ногайского мурзы от выстрела именно с Ивановской башни, произведённого пленным литовским пушкарём, послужила причиной снятия осады.
Из всех сохранившихся башен кремля Ивановская дошла до нашего времени в наиболее худшем состоянии из-за постоянного воздействия воды, стекавшей с Часовой горы и по пряслам, не имевшим кровли. Поэтому её стены ещё со времени самых первых ремонтов стали постоянно снаружи укрепляться контрфорсами на деревянных сваях. В конце концов за контрфорсами остался лишь завал из каменного и кирпичного щебня. Башня страдала от пожаров, а в 1531 году в ней произошёл взрыв пороха, что стало причиной её перестройки со значительным изменением облика. После взрыва наружные стены выше круговой галереи не восстанавливались. На северо-восточной стене галереи были оформлен ряд зубцов, которыми стали прежние простенки между боевыми окнами. Остальные стороны получили мелкие декоративные зубцы. Боковые помещения башни служили складами.
Южная часть пристройки рядом с башней использовалась как тюрьма. В XVII веке здесь же поблизости располагалась губная изба, где велись допросы и следствия. После утраты кремлём военного значения, к 1697 году, ремонты и перестройки продолжились. Верхняя надстройка была, видимо, ещё раз полностью небрежно переложена, после пожара в 1715 году и превратилась, по виду, в обычный одноэтажный дом с окнами, низкой кровлей с водосточными трубами и печной трубой. В том же веке, из-за значительных разрушений, башня стояла пустой. В 1786-1788 годах она была отремонтирована и полностью приспособлена под тюрьму.
До 1887 года в башне находились Ивановский полицейский участок и пожарная часть. В 1815 году рядом с башней, в стене, появились проломные ворота, имевшие первоначально плоское перекрытие. Плоское перекрытие в это время имели и наружные ворота башни. В 1819 году в башне произошёл последний пожар. Зубцы обводной галереи со временем всё более разрушались. В это время дом на башне имел уже два этажа, подъём к нему осуществлялся по лестнице, спрятанной в дощатой пристройке, которая располагалась на юго-западной наружной стороне башни. Сверху пристройку украшали деревянные зубцы. Около башни сооружались и другие деревянные времянки. Во время ремонтов создавались внутренние перекрытия на новых местах в виде сводиков по рельсам и двутавровым железным балкам. В 1887-1926 годах в верхней надстройке башни размещался архив Нижегородской учёной архивной комиссии с читальным залом. В 1934 году первый ярус башни приспособили под склад химикатов. При этом было установлено бетонное перекрытие. Башню использовали и под склад горючего. Несмотря на ремонты XVIII—XIX веков и в 20-х годах XX века, башня находилась в аварийном состоянии. В 1946 году началось обрушение кладки внутреннего фасада и свода проезда.
При восстановлении башни, которое проводилось в рамках общей реставрации Кремля под руководством архитектора С.Л. Агафонова в 50-х годах XX века, был выбран вариант воссоздания предположительного первоначального облика башни. Хотя вариант с открытой обходной галереей, после взрыва 1531 года, тоже имел право на существование. Проект был успешно осуществлён, но так и не были доведены до конца некоторые мелкие детали. Не были воссозданы деревянные перекрытия между ярусами, ставни бойниц и заборола больших боевых окон между зубцами, двухстворчатые ворота. Воссозданный механизм лишь одной герсы так и не стал рабочим. И самое главное, не был воссоздан механизм подъёмного моста и сам мост. Последнее означало, что башня так и не стала проходной. В помещение за всегда опущенными решётками был полностью закрыт доступ экскурсантам. В пристройку с городовой лестницей также до недавнего времени нельзя было попасть. Тем не менее, башня получила вполне средневековый облик, который нарушал лишь массивный памятный знак на фасаде, слева от ворот.
