Перестройка Конюшенного корпуса дворца в 1796–1797 годах для размещения арсенала, библиотеки и жилых помещений повлекла за собой сооружение, новых дворцовых конюшен вблизи дворца, по дороге к площади Коннетабль. За образец для них было принято здание Больших конюшен в Шантийи, во Франции.
В 1797 году началась заготовка камня в Черницах, а 16 марта 1798 года заключен договор с каменных дел мастером К. Висконти на постройку здания «сходно плану, профилю, фасаду и шаблонам по показанию архитектора Бренны». В том же году здание было отстроено вчерне. Работы по постройке больших дворцовых конюшен продолжались в 1799 и 1800 годах уже под наблюдением архитектора А. Д. Захарова.