К числу последних работ Кваренги надо отнести прекрасный проект перестройки Большого театра, ряд чертежей которого хранится в Эрмитаже). Заслуженному мастеру, чувствовавшему еще столько свежих сил и бодрости, было горько сознавать, что его давно уже забыли. Если не считать Нарвских ворот, доставшихся ему только потому, что государя не было в России, то можно сказать, что последними его работами по поручению двора были постройки Кабинета и двух институтов. С тех пор целых десять лет «его ни на что не употребляли», по словам Вигеля.
Последний рассказывает, что знаменитый зодчий «часто ходил пешком, и всяк знал его, ибо он был замечателен по огромной синеватой луковице, которую природа вместо носа приклеила к его лицу» . Ни на кого не рисовалось в то время столько карикатур, как на Кваренги. Особенно много сохранилось набросков Орловского, не пропускавшего ни одного приключения в жизни злополучного мастера без того, чтобы не закрепить его в забавном шарже. То это целые сценки с массой действующих лиц — портретов его современников, то просто отдельные наброски (В Бергамо, в его бумагах, хранящихся в местной библиотеке, есть недурной рисунок со спящего Кваренги, сделанный Андреа Алпиани в 1810 году. В Collegio Alessandra in Colonna в Бергамо же сохранился небольшой портрет его масляными красками, будто бы писанный им самим. Там же есть и рисунок, который Кваренги сделал со своегоумирающего сына).
Рассказы современников рисуют его человеком очень медлительным в движениях и чрезвычайно неуклюжим. Императрица Екатерина писала Гримму, что ее внуки очень забавлялись его безобразной наружностью, особенно носом, по поводу которого бывали бесконечные разговоры. Небольшого роста, с огромной головой, он имел необыкновенно громкий и крикливый голос, что придавало ему еще больше забавности. Говорят, что петербургские няньки пугали им детей. Под этой смешной внешностью скрывалось добрейшее сердце чудесная, славная душа и бесконечное добродушие.
И. Грабарь