Обширный участок на углу Садовой улицы и Гороховой в XVIII веке принадлежал заводчику и откупщику миллионеру Савве Яковлеву, а затем его наследникам. В 1780-х годах на участке были построены жилой дом и одновременно с ним служебное Г-образное здание в глубине участка.
В отличив от жилых домов, расположенных на небольших участках, дом Яковлева не имеет замкнутого внутреннего двора.
Включив здание в сплошную застройку улицы, архитектор-строитель обратил основное внимание на композицию фасадов. Несмотря на их значительную протяженность, неизвестный нам зодчий сумел избежать монотонности в фасадах, в чем сказалось его выдающееся мастерство.
Главный фасад, выходящий на Садовую улицу, подчеркнут в центре колонным портиком с фронтоном, тогда как фасад по Гороховой улице декорирован только коринфскими пилястрами (при почти равной длине фасадов). Введением мотивов ордера, тройных окон и различных по рисунку сандриков над окнами автор преодолел впечатление однообразия. Но наиболее эффектно решил он закругленный угол. Коринфская колоннада оформляет неглубокую лоджию и служит композиционным центром фасада дома, расположенного на перекрестке двух улиц. Окна первого этажа были расширены в 1913 году.
Все помещения первого этажа перекрыты сводами, что характерно для времени постройки дома.
Не менее типична для русской архитектуры XVIII века конструкция лестниц на сводах, опирающихся на центральные несущие столбы.
Дом Яковлева принадлежит к числу ценнейших памятников русской гражданской архитектуры последней четверти XVIII века.