Научная библиотека музея основана в 1876 г. по инициативе Н.Е. Бранденбурга и Д.П. Струкова. Вклад в формирование библиотечных фондов сделало Главное артиллерийское управление, передав в музей 185 редких русских и иностранных книг по истории артиллерии и военно-инженерного дела конца XVIII – начала XIX вв. С первых дней фонд формировался строго в соответствии с профилем музея.
В 1899 г. начинает формироваться коллекция по истории Российских полков. В настоящее время коллекция полковых историй насчитывает почти тысячу экземпляров и продолжает пополняться.
В 1997 г. сформирован фонд редкой книги. Сейчас он насчитывает 701 издание.
Библиотека открыта для посетителей по четвергам и пятницам с 11.00 до 17.00.
До конца 2025 года в связи с проведением работ по замене фондового оборудования библиотека музея закрыта.