Проект дворца 3. И. Юсуповой на Литейном проспекте разработал архитектор Г. А. Боссе, но затем проектирование перешло к другому зодчему — Л. Бонштедту, завершившему работу над проектом и руководившему строительством дворца.
Строительные работы начались в 1852 году; окончание внутренней отделки относится к 1857–1858 годам. В решении фасада Бонштедт стремился к оригинальности и новизне, к свободной трактовке приемов архитектуры барокко. Поставив перед собой задачу — сказать новое слово в архитектуре Петербурга, Бонштедт применил для облицовки фасада естественный камень — бременский песчаник.
Во внутренней отделке особняка широко использованы искусственный мрамор, лепка, позолота, украшения, выполненные из папье-маше, декоративная живопись. Значительную часть работ по внутренней отделке выполнил талантливый мастер-лепщик Т. П. Дылев. Живописные плафоны, медальоны и десюдепорты принадлежат к числу лучших работ известного русского художника первой половины XIX века Н. А. Майкова. Медальоны для розовой гостиной и галереи писал художник К. И. Поль. Работами по сооружению мраморной лестницы руководил каменотесного дела мастер Г. А. Балушкин. Облицовку фасада тесаным песчаником выполнила мастерская Трискорни.
Среди помещений дворца выделялись библиотека, стены которой украшали панно работы Г. Робера, портретный и концертный залы, большая столовая и др.