Здание Филармонии занимает ответственное место в ансамбле площади Искусств, оформляя участок на углу Михайловской улицы.
Первоначально трехэтажное, здание частично надстроено в 1809–1901 годах четвертым, аттиковым этажом. Фасады, обращенные на улицу и на площадь, созданы по проекту К. И. Росси. Обработка фасадов, решенных в ионическом ордере, отличается простотой и сдержанностью, характерными для всего ансамбля. Скромность архитектурной отделки зданий, входящих в ансамбль, как бы подчеркивает великолепие фасада Михайловского дворца.