Дворец является важнейшим из сооружений, входящих в архитектурно-парковый ансамбль Елагиного острова. Это одна из первых работ К. И. Росси в Петербурге, перестроившего в 1818–1822 годах существовавший здесь ещё в XVIII веке усадебный дом. Почти полностью сохранив старые стены, Росси создал дворцовое здание, в котором торжественность и строгость внешнего облика органически сочетаются с нарядностью и изысканностью интерьеров.