В начале XVIII века участок, занятый зданием Иностранной коллегии, принадлежал двум владельцам. В 1750-х годах оба участка перешли в собственность князя Б. А. Куракина. Тогда же архитектор М. А. Башмаков построил для Куракина большой двухэтажный дом, обращенный своим главным фасадом на набережную Невы, и двухэтажный флигель по Галерной улице. Дошедшие до нашего времени изображения дают ясное представление об архитектурном облике дома в 1760- 1770 годах. Фасады отличались пышностью и великолепием декоративного оформления.
Многочисленные статуи и скульптурные группы трофеев венчали парапет и фронтоны главного фасада. Въезд во двор со стороны Галерной улицы был оформлен в виде монументального портала, обработанного колоннами.
После смерти Куракина дом перешел в казну, и в нем была размещена Иностранная коллегия. В 1782–1783 годах его перестроил архитектор Д. Кваренги.
При этом барочная обработка фасадов и интерьеров была уничтожена. Фигурные наличники окон, скульптурные и лепные детали фасадов срублены, и стены здания гладко оштукатурены. Центр значительного по протяженности фасада Кваренги украсил колоннадой из восьми ионических колонн, поддерживающих фронтон.
В XIX веке здание переделывалось внутри. Во второй половине XIX века был надстроен флигель, выходящий на Галерную улицу. Сохранившаяся внутренняя отделка. относится ко второй половине XIX века. С этим зданием связаны имена А. С. Пушкина и А. С. Грибоедова, служивших в Иностранной коллегии.