昔、この地方に豪農で鉢塚衛門三郎という者が居た。
三郎は権勢をふるっていたが、欲深く、民の人望も薄かったといわれる。
あるとき、三郎の門前にみすぼらしい身なりの僧が現れ、托鉢をしようとした。

三郎は家人に命じて追い返した。
翌日も、そしてその翌日と何度も僧は現れた。

8日目、三郎は怒って僧が捧げていた鉢を竹のほうきでたたき落とし、
鉢は8つに割れてしまった。僧も姿を消した。
実はこの僧は弘法大師であった。

三郎には8人の子がいたが、
翌日から子が次々と亡くなり、8日目には皆亡くなってしまった。
悲しみに打ちひしがれていた三郎の枕元に大師が現れ、
三郎はやっと僧が大師であったことに気がつき、
何と恐ろしいことをしてしまったものだと後悔する。

三郎は懺悔の気持ちから、田畑を売り払い、家人たちに分け与え、妻とも別れ、
大師を追い求めて四国巡礼の旅に出る。
二十回巡礼を重ねたが出会えず、大師に何としても巡り合い気持ちから、
今度は逆に回ることにして、巡礼の途中、焼山寺の近くで病に倒れてしまう。

死期が迫りつつあった三郎の前に大師が現れた。
三郎は今までの非を泣いて詫び、息を引き取った。
大師は路傍の石を取り「衛門三郎再来」と書いて、左の手に握らせた。
天長8年10月のことという。

翌年、伊予国の領主に長男が生れるが、その子は左手を固く握って開こうとしない。
領主は心配して安養寺の僧が祈願をしたところやっと手を開き、
「衛門三郎」と書いた石が出てきた。
その石は安養寺に納められ、後に「石手寺」と寺号を改めたという。
石は玉の石と呼ばれ、寺宝となっている。