Еще в 1720–1721 годах архитектор Ж.-Б. Леблон и каменных дел мастер А. Кардосье построили напротив Гербового и Церковного флигелей Большого дворца глубокие, почти квадратной формы пруды, облицевав их изнутри известняковой плитой и кирпичом. Вода из этих бассейнов поступала к фонтанам Нижнего сада. В 1737 году архитекторы И. Бланк и И. Давыдов украсили Квадратные пруды фонтанами.
На каменных основаниях посреди водоемов установили из вызолоченного свинца статуи греческих богов и богинь и мифологических существ — сирен и дельфинов. В 70-е годы XVIII века архитектор И. Яковлев обветшавшие свинцовые статуи заменил шестью фонтанирующими дельфинами. С 1929 года Квадратные пруды украшают мраморные скульптуры Аполлона (копия с античного оригинала) и Венеры Италийской (копия с оригинала А. Кановы). Вокруг каждой из скульптур 6 бронзовых дельфинов выбрасывают вверх струи воды. Что касается формы Квадратных прудов, то она близка к квадрату (54×45 метра), но все-таки не квадратная.