Позади Кавалерских домов расположено обширное полуциркульное в плане здание бывших придворных Дежурных конюшен. Составленный В. П. Стасовым проект каменного здания конюшен был утвержден в 1822 году. Строительными работами руководил архитектор Придворной конюшенной конторы С. Л. Шустов, который переработал проект Стасова, увеличил здание по длине и повысил его. Над двумя сараями, располагавшимися в торцевых частях здания, Шустов построил жилые квартиры для служащих, что не предусматривалось Стасовым.