江戸時代の後期、三尾川出身の日下俊斎という医者がいました。ある夜のこと、俊斎の夢枕に三尾川にある光泉寺の銀杏の木の精だと名乗る女性が立ち、「村人は畑づくりの邪魔になると私を伐り倒そうとしています。私を救えるのは先生しかありません」と訴えました。

夢が気がかりになった俊斎は早速ふるさとに帰りましたが、光泉寺では、村人たちが銀杏の木を伐り相談の倒す真っ最中です。俊斎は、村人たちに木の精の話を伝え、「これからは役に立ってくれるに違いない」と説得しました。

やがて、銀杏の木の周辺では農作物が良く収穫できるようになり、あまり根を広げなくなった木には、太い枝の途中からまるで乳房のようなコブが垂れ下がるようになりました。

この姿にあやかって、子供のいない人が願掛けすると、子供が授かると伝わり、子授け銀杏と呼ばれるようになったということです。