В 1781 году А. А. Безбородко, возглавлявший в числе других учреждений и Почтовый департамент, приобрел два каменных дома близ Почтамта — подворье Курского Знаменского монастыря на углу Выгрузного переулка (ныне Почтамтский переулок) и смежный с ним дом «танцовалыцика» Топоркова, построенный в 1756 году. Безбородко объединил дома и создал дворец, сравнительно скромный по своему внешнему облику, но великолепно отделанный внутри. При перестройке домов были сохранены их стены и частично внутренняя планировка.