Тула в XVI—XVII веках с её кремлём была оборонительным рубежом южной границы страны. Поэтому тульские кузнецы с давних времён освоили технику производства различных видов оружия. Недостатка в сырье у них тоже не было, недалеко от Тулы находился карьер бурого железняка. Близость более крупного и лидирующего предприятия — Московской Оружейной палаты — способствовала наличию небольшого профессионального соперничества в изготовлении оружия. Но всё же тульские мастера наладили хорошие отношения с московскими мастерами и часто обменивались с ними профессиональными навыками. С переездом столицы в Санкт-Петербург первенство в изготовлении оружия перешло к Туле.
В феврале 1712 года по указу Петра I в Туле был основан Тульский оружейный завод, который вскоре начал поставлять большие партии для российской армии. После выхода указа Петра I о «сохранении для памяти на вечную славу» тульские мастера стали сохранять на заводе наиболее красивые и интересные образцы оружия. А появился музей позже, в 1775 году. Екатерина II, будучи в Туле на оружейном заводе, увидела уже большую к этому времени коллекцию оружия и распорядилась создать «Палату редкого и образцового оружия». Но просуществовала Палата недолго и в 1789 году перед предполагаемой перестройкой оружейного завода вся коллекция по распоряжению императрицы была перевезена в Московскую оружейную палату.
На протяжении следующих почти ста лет мастера оружейного завода вновь собирали образцы оружия. В 1870-х годах начальник завода В. В. Нотбек решил возродить музей. На основе возвращённой по его просьбе в Тулу коллекции оружия, переданного когда-то в Оружейную Палату в Москву, и на основе коллекции тульского завода и был создан музей. Его открытие состоялось 30 августа 1873 года в одной из комнат правления завода.
В первые годы советской власти музей был на грани разорения. В периоды восстаний и забастовок рабочих все экспонаты были перемещены в различные мастерские и цеха завода. Опасаясь за сохранность коллекции, ценители трудов предков обратились в вышестоящие органы с просьбой выделить помещение для хранения экспонатов. Ответ был получен и 16 ноября 1924 музейные экспонаты были размещены в одном из цехов завода.
Во время Великой Отечественной войны коллекция музея вместе с заводом была эвакуирована в Медногорск, где пробыла до своего возвращения 12 декабря 1945 назад в Тулу.
В 1959 году музей был перемещён в центр Тулы, так как количество экспонатов было очень велико и не могло размещаться на заводе. В последующие годы музей продолжал пополняться. Возникла необходимость в новом здании. В конце 1970-х годов здание бывшего Богоявленского собора на территории Тульского кремля было передано оружейному заводу. По решению музейщиков все экспонаты музея оружия было решено разместить в нём. 18 мая 1989 года после реставрации здания и размещения коллекции музей был открыт.
Значимость музея подтверждается и высшими наградами на выставках в Филадельфии в 1876 году и на Всемирной выставке в Париже в 1900 году. В музее хранится большая коллекция оружия, созданного С. И. Мосиным, авиационные пулемёты и пушки, стрелково-пушечное вооружение, восточное оружие, западноевропейское огнестрельное оружие и многие другие редкие экспонаты.
