29 августа 1703 г. по именному распоряжению Петра I на территории Петропавловской крепости в Санкт-Петербурге был заложен Цейхгауз для хранения и «памяти на вечную славу» уникальных исторических образцов вооружения, военных трофеев и реликвий.
В 1756 г. на основе коллекции Цейхгауза генерал-фельдцейхмейстер граф Петр Шувалов создал Достопамятный зал, размещавшийся в здании Арсенала на Литейном проспекте в Санкт-Петербурге. К концу XVIII в. собрание насчитывало уже около 6 тыс. экспонатов. В 1868 г. Достопамятный зал перевели в здание Нового арсенала в Кронверке Петропавловской крепости и стали именовать Артиллерийским музеем (с 1903 г. Артиллерийский исторический музей).
Большая заслуга в развитии и популяризации его коллекций принадлежит основоположнику военно-музейного дела в России, талантливому историку и археологу Н.Е. Бранденбургу, заведовавшему музеем с 1872 по 1903 г. При нем музей посещали императоры Александр III и Николай II.
В 1918 – 1930-х гг. в музей влились собрания многих полковых музеев российской армии, частные коллекции оружия.
В годы Великой Отечественной войн музей вынужден был эвакуировать часть фондов в Новосибирск. Оставшиеся в блокадном городе сотрудники музея выдавали на фронт оружие и артиллерийские образцы из музейных фондов. Многие музейные сотрудники ушли добровольцами и погибли на фронте, некоторые скончались на рабочем месте, не вынеся голода и холода блокадной зимы. Благодаря самоотверженному труду своих сотрудников музей не только выжил в годы войны, но и значительно пополнил коллекции.
В 1960-х гг. в музей поступили фонды Центрального исторического военно-инженерного музея и Военного музея связи.
Сейчас Военно-исторический музей артиллерии, инженерных войск и войск связи – один из самых крупных военно-исторических музеев мира, обладающий ценнейшими коллекциями артиллерийского вооружения и боеприпасов, стрелкового и холодного оружия, военно-инженерной техники, средств военной связи, боевых знамен, военной формы одежды, произведений батальной живописи и графики, наград и знаков, а также архивными документами.
Собрание музея регулярно пополняется, что позволяет открывать новые экспозиции.
В 2019 году музей принимал активное участие в праздновании столетия выдающегося конструктора стрелкового оружия М. Т. Калашникова. Тогда после реэкспозиции был открыт зал «Калашников – Человек. Оружие. Легенда». Появился новый зал – «Дары М. Т. Калашникова музею».
В музее открыта первая в стране экспозиция, посвященная Специальной военной операции.
На внешней экспозиции появились «Медный двор» и «Чугунный арсенал», был установлен бюст генерал-фельдцейхмейстера великого князя Михаила Николаевича, чья коллекция военных реликвий после революции оказалась в музее; а также памятник великому русскому конструктору-оружейнику М. Т. Калашникову.
За 322 года своего существования Военно-исторический музей артиллерии, инженерных войск и войск связи стал национальной гордостью России, подлинным храмом военной истории Отечества, «подразделением вечности» в составе Российских Вооруженных сил, как его порой справедливо называют.