В 1819 году, в связи с учреждением Императорского Инженерного училища, началась реконструкция пустовавшего долгое время Михайловского замка, отданного под учебные надобности. К этому же моменту относятся и первые упоминания о призраке замка. Мастеровые утверждали, что неоднократно сталкивались с невысоким человеком в треуголке и ботфортах, который появлялся ниоткуда, словно просочившись сквозь стены, важно расхаживал по коридорам взад и вперед и грозил работникам кулаком.
Слухи об этих видениях достигли ушей всесильного министра двора, графа Аракчеева. Граф, испытывавший к Павлу Первому трепетные чувства, попытался сделать все возможное, чтобы слухи эти пресечь, ибо призрак по всем описаниям очень походил на убиенного государя.