Здание Арсенала расположено в центре Александровского парка, на главной аллее ансамбля Большого дворца. В его основе лежит более старое сооружение — павильон Монбижу, построенный в 1747—1754 годах.
Исполненный архитектором С. И. Чевакинским проект Монбижу, утвержденный в 1747 году, был переработан в 1749 году архитектором Б. Ф. Растрелли. Общее композиционное решение было сохранено, но фасады получили новое, более богатое оформление. Наличники окон, дверей и купол были украшены деревянной вызолоченной орнаментальной резьбой, а медный шар на куполе увенчан резной деревянной статуей Славы. Работы по отделке павильона закончились в 1754 году.