Здание Арсенала расположено в центре Александровского парка, на главной аллее ансамбля Большого дворца. В его основе лежит более старое сооружение — павильон Монбижу, построенный в 1747—1754 годах.
Исполненный архитектором С. И. Чевакинским проект Монбижу, утвержденный в 1747 году, был переработан в 1749 году архитектором Б. Ф. Растрелли. Общее композиционное решение было сохранено, но фасады получили новое, более богатое оформление. Наличники окон, дверей и купол были украшены деревянной вызолоченной орнаментальной резьбой, а медный шар на куполе увенчан резной деревянной статуей Славы. Работы по отделке павильона закончились в 1754 году.
В годы, когда осуществлялась перепланировка Александровского парка, архитектор А. Менелас перестроил Монбижу. Им были возведены заново четыре шестиугольные четырехэтажные башни, примыкающие к центральному восьмигранному массиву. Работами после смерти Менеласа руководил архитектор К. А. Тон.
В 1834 году Монбижу после завершения строительства был переименован в Арсенал и в нем размещено собрание старинного оружия.
В нижнем этаже Арсенала находились большой зал, освещенный огромным венецианским окном с семьюдесятью двумя витражными стеклами XVI—XVII столетий, библиотека, кабинет и другие помещения. Дверь из вестибюля вела на каменную парадную лестницу, находившуюся в башне. Центральное помещение второго этажа — восьмиугольный зал — носило название Зал рыцарей. В 1886 году коллекция оружия Арсенала была передана в Эрмитаж, а в освободившихся помещениях размещены модели царскосельских построек и собрание армейских военных форм.
Во внешнем облике здания нашло свое отражение характерное для русского зодчества первой трети XIX столетия увлечение готикой. Стены основного двухэтажного массива с примыкающими к нему одной из своих граней трехъярусными башнями увенчаны зубчатым парапетом. В оконные проемы, прямые, полуциркульные и круглые, вставлены переплеты готического рисунка.
Среди других готических построек Александровского парка здание Арсенала играло основную роль, определявшуюся его местоположением — на пересечении радиальных просек Зверинца и главной перспективы парка.
В годы войны 1941-1945 годов зданию Арсенала были нанесены значительные повреждения.