篠栗は、今から千二百年前にお大師様(弘法大師空海)が、真言密教を悟り唐の国(中国)より帰ってきた際に、若杉山(奥の院)を訪れ、加持修法によって人々を救済した地で、古来より若杉山を神仏の集う霊山と仰ぎ山岳信仰や真言密教の聖地として多くの高僧や修行者が訪れてお堂が立ち並び隆盛を極めていたと伝えられている。
時代は流れ、天保年間、早良郡姪浜の僧侶・慈忍(じにん)が、弘法大師(お大師様)を訪ねてこの地を訪れたのが篠栗霊場の始まりといわれている。
慈忍は四国八十八ヶ所を巡拝したその帰りに篠栗村に立ち寄った尼僧であった。四国八十八ヶ所の開祖たる弘法大師も訪れたと伝わるこの村の者達の困窮を垣間見た慈忍は、その救済を目的にこの地にとどまり弘法大師の名において祈願を続け、やがて村に安寧をもたらしたものと伝わる。このことを弘法大師の利益(りやく)であるとした慈忍は、村の者達に四国のそれを模した八十八ヶ所の霊場の造成を提案。呼応した村人達の手によって徐々に石仏がつくられはじめるが、志し半ばに慈忍が没してしまう。
その志を継ぐべく、篠栗村田ノ浦に住むお大師様信仰の念のあつい藤木 藤助(ふじき とうすけ)が、嘉永三年(1850年)に村の有志と相談し、浄財をあつめ仏像を彫り、安政二年(1855年)五人の同行と共に本四国霊場を巡拝し、持ち帰った砂を仏像の仲に納め、村内の八十八ヶ所の聖地に祀った。それが今にある篠栗霊場の起源であると伝わっている。