我が国で初めて伊勢神宮から分霊を勧請することを許された山口大神宮は「西のお伊勢様」と呼ばれ、中国、九州地方の人々の信仰を集めていた。しかし、幕末長州藩が攘夷を実行して城を山口に移すと、山口に通ずる道には関門が設けられたため、信者たちは西のお伊勢様詣でが出来なくなってしまった。
そこで、まず古林新右衛門が雨乞山の麓の土地を寄進し、続いて小郡宰判の大庄屋や庄屋、そして村民までもが浄財を持ち寄って、藩の正式許可を得たのち、元治元年（1864）四月に建てられたのが小郡の山口大神宮遥拝所である。ここで拝めば山口大神宮に参拝するのと同等のご利益があるとされ、多くの人が喜んで参拝したと言う。
