Жилой дом Воронцова-Дашкова построен в 1736–1738 годах. Его первым владельцем был начальник Канцелярии строения императорских домов и садов А. Л. Нарышкин. В планировке и застройке участка Нарышкина сказались градостроительные принципы, применявшиеся в Петербурге в начале XVIII века. Требования «регулярности» предусматривали сплошную застройку улиц. Въезд на участок был устроен с Галерной улицы.
В 1770-х годах дом А. Л. Нарышкина был расширен и перестроен.
Прекрасно сохранившийся главный фасад дает ясное представление о внешнем облике богатого особняка периода русского раннего классицизма. Центральное крыльцо-подъезд выделяет здание из окружающей его застройки и обогащает строгий, простой фасад. Не меньший интерес, чем композиция фасадов, представляет отделка некоторых внутренних помещений, относящаяся к 1770-м годам. Два помещения во втором этаже почти полностью сохранили свою отделку. Из них особенно интересен небольшой кабинет, смежный с лестничным помещением, обращенный окнами в сторону двора. В декорации стен здесь применены живописные панно, превосходные по исполнению.
Характерны для архитектуры 1770-х годов закругления углов, выполненные не в кирпиче, а в дереве. В ряде комнат сохранились мраморные камины XVIII века, двери с превосходной резьбой и десюдепорты. Интересны также парадный вестибюль, декорированный колоннами и барельефами, главная лестница и зал, частично сохранившие отделку XVIII века, частью же перестроенные в XIX столетии.