Здание Главного почтамта построено в 1782–1789 годах по проекту выдающегося русского зодчего второй половины XVIII века Н. А. Львова. Оно занимает обширный прямоугольный в плане участок, ограниченный с трех сторон улицами. Первоначально это было вспомогательное служебное здание при почтамте, так называемый «Почтовый стан». Почтовое управление находилось в доме Ягужинского, расположенном на противоположной стороне Почтамтской улицы.
Большой внутренний двор «Почтового стана» (ныне операционный зал) первоначально был хозяйственным, или «черным», двором. Сюда выходили конюшни, располагавшиеся по трем его сторонам, а также сараи, мастерские, ледники и пр. Во втором и третьем этажах находились казармы для «нижних чинов» и квартиры чиновников. Первый этаж не имел окон. На их месте были устроены ниши, предназначенные для статуй, которые, однако, не были установлены.
В композиции фасадов Н. А. Львов повторил традиционную для русского классицизма схему. Он выделил ризалиты в центре каждого из трех фасадов и обработал их портиками из четырех колонн дорического ордера, увенчанных фронтонами. Боковые крылья, кроме ризалитов на углах, декорированы пилястрами, объединяющими два верхних этажа.
В 1801–1803 годах в связи с переводом в это здание Главного почтового управления Б. Т. Соколов произвел в нем ряд внутренних перестроек и пробил окна в первом этаже. В 1859 году по проекту архитектора А. К. Кавоса сооружена переходная галерея, связавшая два здания почтамта, по обеим сторонам Почтамтской улицы. В 1903 году обширный внутренний двор был перекрыт стеклянным потолком и превращен в центральный операционный зал. Автор проекта реконструкции — гражданский инженер Л. И. Новиков.