Мысль о создании переходов из Старого сада в Новый (регулярную часть Александровского парка) в виде арки, переброшенной через проезжую дорогу, возникла одновременно с первыми попытками расширения Старого сада и создания на прилегающей к нему территории пейзажного парка.
Дорога, ведущая к Большому царскосельскому дворцу и отделяющая Екатерининский парк от Александровского, позднее названная Подкапризовой, с середины XVIII столетия и до 1810-х годов была кратчайшим путем из Царского Села в Петербург. Трехцентровая арка (Малый каприз), имеющая в ширину около 5 метров и столько же в высоту, построена в 1770—1772 годах из грубо околотого известняка на тесаном плитном цоколе. Земляные насыпи по сторонам арки образовали пологие подъемы-спуски. Малый каприз и теперь остается удобным переходом, связывающим два парка. Его постройка осуществлена по проекту В. И. Неелова и И. Герарда.