Однако основной объем работ приходился на главное здание Адмиралтейства. В 1809 году в отстроенной части восточного корпуса уже велись отделочные работы, сооружался восточный павильон и перестраивалась центральная башня.
В связи с реконструкцией башни в марте того же года встал вопрос о перепланировке помещения церкви. По указанию Захарова был разобран иконостас и в июне месяце передан «в предполагаемую к построению церковь на кладбище Ижорского завода». В это же время был заключен контракт с купцом Самсоном Сухановым на поставку пудостского камня для адмиралтейской башни.
От Захарова требовали в этот период ускорения отделочных работ в ближайшей к Зимнему дворцу части здания, чтобы наряду с Адмиралтейств-коллегией разместить здесь Адмиралтейский департамент на время перестройки западного крыла. Тем самым морское министерство стремилось сократить вынужденные расходы на аренду дома Чернышева для Адмиралтейств-коллегий и дома графини Кутайсовой для Адмиралтейского департамента. Последний находился рядом, напротив центральной части здания Адмиралтейства (Гороховая улица, 1).
15 ноября 1809 года из адмиралтейской канцелярии к Захарову поступил запрос, «не могут ли назначенные в Адмиралтействе для департамента покои быть готовы к переводу в них 3 числа мая будущего 1810 года», на что архитектор ответил: «...под занятие департаментом к 3 мая будущего 1810 года изготовлен быть может только верхний этаж до отделки среднего, которую надеюсь ускорить к первым числам июня месяца будущего года».
Несмотря на все старания Захарова, в начале 1810 года один за другим последовали грозные, уже высочайшие указы о необходимости закончить подготовку помещений в фактически нереальные сроки. Это был один из напряженнейших периодов в работе архитектора, закончившийся для него тяжелой болезнью. Однако невероятные усилия Захарова оказались напрасными: переезд департамента в здание Адмиралтейства отложили на некоторый срок «по причине сырости покоев в оном».