В середине XVIII века участок в Демидовом переулке (ныне переулок Гривцова) от набережной реки Мойки до Большой Мещанской (ныне Казанская улица) занимала обширная городская усадьба Н. А. Демидова с великолепным дворцом, садом, павильонами и различными служебными и хозяйственными постройками.
На месте существующего сейчас дома № 3 в начале XIX века располагался сад, затем возникли деревянные постройки оранжерей, а в начале 1820-х годов было построено два каменных здания. Северный корпус, первоначально одноэтажный, был вскоре надстроен вторым этажом.
В 1834–1835 годах оба здания были объединены надстройкой над ними третьего и четвертого (аттикового) этажей. При этом с лицевого фасада северного корпуса были сбиты украшавшие его пилястры и другие декоративные элементы, а внутри произведена коренная перепланировка с расширением в сторону двора. Южный корпус сохранил в нижней части лицевого фасада первоначальные скульптурные украшения, среди которых особо выделяются маски замковых камней и рельефный пояс над вторым этажом с изображением грифонов.
Проект надстройки разработал архитектор Л. И. Шауфельберг.
Объединенные надстройкой здания были вскоре проданы Демидовым другому владельцу.