Позади Кавалерских домов расположено обширное полуциркульное в плане здание бывших придворных Дежурных конюшен. Составленный В. П. Стасовым проект каменного здания конюшен был утвержден в 1822 году. Строительными работами руководил архитектор Придворной конюшенной конторы С. Л. Шустов, который переработал проект Стасова, увеличил здание по длине и повысил его. Над двумя сараями, располагавшимися в торцевых частях здания, Шустов построил жилые квартиры для служащих, что не предусматривалось Стасовым.
Постройка здания началась в мае 1822 года и закончилась в июле 1824 года. Получив значительную экономию средств по сравнению со сметой Стасова, Шустов выполнил ряд дополнительных работ: построил в здании внутренние лестницы, изготовил гранитные чаши с бронзовыми розеттами, отлил двенадцать фонарей, бронзовые литеры с датой постройки (1823 г.), лепные украшения.
По внешнему облику здание Дежурных конюшен принадлежит к числу безордерных утилитарных сооружений, таких как провиантские «магазейны» (склады), здание Скотопригонного двора на Обводном канале в Санкт-Петербурге и др.
Фасады конюшен на высоту первого этажа обработаны рустами. Гладкие стены второго этажа прорезаны редко расставленными полуциркульными окнами. Стены венчает карниз я широкий пояс дорического фриза. Метопы украшены лепными конскими головами в венках. Наружные стены здания первоначально были окрашены в серый цвет, антаблемент и лепные детали — в белый.
В 1853 году над вторым этажом Дежурных конюшен был сооружен антресольный этаж. Окна, освещающие помещения этого этажа, приспособленного под жилье, были пробиты в метопах дорического фриза. Это исказило первоначальный замысел, но не нанесло зданию непоправимого ущерба.
В период Великой Отечественной войны здание пострадало от попаданий артиллерийских снарядов, имело пробоины и выбоины на фасадах. В послевоенные годы оно было отремонтировано.