平安時代の初めの頃、空海(弘法大師)というお坊さんが諸国を行脚しておられました。日照り続きで田んぼが干上がり、百姓が困っているのを見ると溜池や水路を作ったり、病で苦しんでいる人があれば、よく効く薬草を教えたりして、全国を歩いておられたのです。
ある時、伊勢神宮へ参るため、弘法大師は櫟本から堂ヶ谷街道を福住へ向かって歩いていましたが、途中で日暮れが近づいてきました。
ふと見ると、山の中から子どもたちが道に出て来たので、「近くに泊めてくれる所はないか?」と尋ねました。「宿ならあるよ。これからそっちへ帰るところや。」「それじゃ案内しておくれ。ところで、今頃まで何をしていたのかな?」と弘法大師が聞くと、「栗をとりに。ほら、これ。」と、子どもたちは両手にいっぱいの栗を差し出しました。
弘法大師は「ああ、よく実がなっているね。それでは、もう一度、実がなるように、おまじないをしてあげよう。」と言って、錫杖で栗の木の上をなでるようにして呪文を唱えました。「ひと月ほどして、またここに来なさい。今とったところに、また栗がなっているから。」そうして弘法大師は、子どもたちといっしょに村に向かわれました。
その後、子どもたちがひと月たって行ってみると、本当にこの前とったはずの栗の木に、実がはぜ落ちそうなくらいになっていました。
これ以来、このあたりには二度花をつけ、二度実のなる栗の木があるそうです。