A la fin de la période Heian, le maître zen Yosai, qui déplorait la décadence du monde bouddhiste de l'époque, a ramené le zen de Chine et a apporté une bouffée d'air frais au monde bouddhiste japonais. En 1168 (Nian 3), à l'âge de 28 ans, il se rend pour la première fois dans la dynastie Song. A l'âge de 47 ans, il pénètre pour la deuxième fois dans la dynastie Song et rend visite à Xuan Huaichang, de la branche Huanglong de l’école Rinzai, au temple Wannian sur le mont Tiantai. La branche Huanglong était une école du Dharma fondée par Huanglong Huinan, un grand disciple du septième fondateur de l’école Rinzai, Shishuang Chuyuan, et a prospéré comme l'une des deux écoles Rinzai. Yosai étudie à la branche Huanglong sous la direction de Xuan Huaichang pendant quatre ans et reçut finalement le sceau d'approbation par celui-ci. Comme preuve de transmission, il a reçu la robe et a été autorisé à transmettre la branche Huanglong de l'école Rinzai du bouddhisme zen.

A son retour au Japon, Yosai entre à Hirado (préfecture de Nagasaki) où il devient la première personne au Japon à pratiquer la discipline zen (vivre selon les normes du bouddhisme zen). Bien qu'ils ne fussent qu'une douzaine, les graines des enseignements fondamentaux du zen furent semées ici pour la première fois: « Sans recours à des mots ou des lettres, transmission spéciale en dehors des écritures pointant directement vers l'esprit humain, atteignant la conscience et entrant dans le Nirvana » 

Yosai menait une vie simple, mais lorsqu'un nécessiteux lui demandait de l'aide, il pliait l'auréole du Bhaishajyaguru dans le hall principal et la lui donnait, au grand dam de ses disciples.

Kaisan-do (bâtiment du fondateur)

Sa construction a été achevée en 1884 (Meiji 17) en tant que pagode (cimetière) de Yosai, le fondateur du temple. Le sol est recouvert de dalles de pavage disposées en diagonale à un angle de 45 degrés par rapport au bord, avec au centre un brûleur d'encens à pied de pieuvre. En regardant le plan au sol de la salle, le raido (salle de culte), ai no ma (salle de phase) et shido (sanctuaire des ancêtres) forment un motif convexe avec raido à l'avant. Le raido est large de 7 travées et profond de 3 travées, avec un toit en croupe et à pignon, confectionné de hon-gawara buki (des tuiles traditionnelles). Sur la plate-forme en pierre d’ai no ma se trouve une pagode d’entrée au nirvana entourée d'une clôture en bois, qui est éclairée jour et nuit. En tant qu'espace sacré le plus important du temple, il est gardé à tour de rôle par les abbés des temples de la montagne, et une atmosphère solennelle y règne en permanence.

Dans le jardin d'entrée, il reste trois tilleuls que Yosai aurait ramenés de la dynastie Song et plantés.