神亀5年(728)、聖武天皇の勅命を受けた伊予の太守、越智玉澄が鎮護国家の
道場として伽藍を建立、安養寺と名付けたのがこの寺のはじまりです。
翌、天平元年(729)行基菩薩が来錫、薬師如来を刻み本尊として開眼、元は法
相宗に属していました。その後の弘仁4年(813)、留錫した弘法大師が修学の後
真言宗に改め、51番札所に定められたということです。
寛永4年(892)、ときの城主、河野家に誕生した男子が、衛門三郎再生の証とし
て、三郎が臨終の時大師に授けられた小石を左手に握っていたことに因み、石手寺と改
号しています。