Застройка участка дома Барятинского относится к началу XVIII столетия. Его получил в 1717 году для постройки дома гофинтендант Петра I П. И. Мошков. Участок простирался от Дворцовой набережной до Миллионной улицы, но затем был разделен на два двора.
По имени владельца дома переулок, идущий от Большого Конюшенного моста до набережной Невы, назывался Мошковым (ныне Запорожский переулок). Общее композиционное решение корпусов дома, обращенных на Неву и на Миллионную улицу, сохранилось, но изменилось оформление их фасадов. Внешний облик дома до перестройки запечатлен на аксонометрическом плане Петербурга 1760–1770 годов.
В 1820-х годах участок на углу Миллионной улицы и Мошкова переулка принадлежал Комендантскому управлению (Ордонансгаузу).
После постройки нового Ордонансгауза на углу Садовой и Инженерной улиц дом на Миллионной улице перешел в частные руки.
В 1830 году он был перестроен архитектором И. И. Шарлеманем для нового владельца — графа А. И. Чернышева. Фасады дома получили обработку в формах архитектуры русского классицизма.
Дом Чернышева, позднее купленный Барятинским, в существующем виде — интересный пример безордерного решения фасада жилого здания первой половины XIX века. Художественный эффект определяется хорошо найденными соотношениями и пропорциями отдельных частей и элементов фасада. Членение по горизонтали подчеркнуто мотивом лепных поясов, членение по вертикали — ризалитами в центре и по краям.
Внутри здания сохранились лепные карнизы и резные двери, относящиеся к середине XIX столетия.