天智天皇の勅願により国守越智守興公が堂宇を建立したことに始まります。　御本
尊の千手観音は龍女が刻んだともいわれ、天智天皇の守護仏でした。
　山号は天皇の守護仏を一刀三礼して刻んだ所以から作礼山と称し、寺号は養老年間
この山で読経三昧に暮らしていた阿坊仙人が、ある日突然天雲の如く突然姿を消した
という伝説に因んで仙遊寺と号するようになったといわれています。
　弘法大師が巡錫したとき寺は荒廃していましたが大師が再興、寺運は盛んになり人
々の信仰を集めました。
　昭和２２年、山火事の類焼により全山焼失しましたが、２８年に本堂を、３３年に
は大師堂を、と漸次再建されています。