L'oratoire est probablement un petit temple grec transformé à l'époque normande. La légende prétend que le palais du tyran Phalaris s'élevait à cet endroit, d'où le nom du lieu. Près de l'oratoire, vous découvrirez les vestiges d'un Ekklesiasterion, petit amphithéâtre destiné aux assemblées politiques.