Зброя, військове і мисливське спорядження та обладунок надійшли в музей вже на початку ХХ ст. з колекції О.М. Поля та Д.І. Яворницького. Зокрема в колекції О. Поля налічувалось понад 200 одиниць різноманітної зброї: гармати, шаблі, рушниці часів козацтва, шведські тромблони, турецькі ятагани, 60 різних пістолетів. Здебільшого зброя була вишукано інкрустована сріблом, перламутром, різьбленням.
Поповнювалась колекція за рахунок обмінів музейними предметами між музеями Росії й України. Так, у 1958 р. до музейного зібрання потрапили зразки зброї з Ермітажу (Санкт-Петербург), Історичного музею (Москва), музеїв Львова і Одеси. Це була здебільшого холодна зброя: бердиші, піки, палаші, тесаки, алебарди, стріли, еспантони, шашки, кістені ХVI-ХVIII ст.
В музей передавались зразки зброї часів громадянської та Великої Вітчизняної війн учасниками цих подій, органами внутрішніх справ. Цінну частину колекції складає іменна зброя С.М.Будьонного, К.Є.Ворошилова, В.О. Судця, О.Ф. Федорова та багатьох інших, переданих родичами.
На сьогоднішній день в колекції музею налічується 1065 одиниць зброї. Поряд з російською холодною та вогнепальною зброєю в колекції наявні зразки шабель, рушниць, пістолетів виробництва Німеччини, Франції, Бельгії, Англії, Іспанії, Італії, Туреччини, Японії. Суттєвим доповненням до зброї є численні елементи військового спорядження (натруски, порохівниці, патронташі, кобури) і обладунок (щити, кольчуги, лати, панцирі, шоломи, каски).
