安房に布教にきた霊巖を支えたのは、国主の里見9代義康でした。里見家は代々禅宗でしたが、霊巖に帰依（きえ）し、館山城の鬼門（東北）の守りとして、大網の地に一寺を建立し、霊巖を開山に迎えました。
霊巖は、自分の修業した檀林「大巖寺」に因んで大巖院と名づけ、大巖寺に負けないような、檀林を築こうとします。
義康はまもなく亡くなりますが、10代里見忠義も霊巖に帰依します。霊巖から慶長15年3月、大切な円頓戒（えんどんかい）を授けられていますので、忠義は軍記物などに述べられているような暴君ではなく、信仰心の厚い君主だったともいえます。このとき忠義は寺領として、42石を寄進しています。
慶長19年（1614）9月里見氏は改易（かいえき）となります。霊巖は遠く伯耆（ほうき）国（鳥取県）倉吉の地に、忠義を訪ねて慰めたといいます。そして形見に九条（くじょう）の袈裟（けさ）を授けたといいます。
忠義の墓所、倉吉の大岳院に伝わる裂交袈裟（きりがわしけさ）がそれだといわれています。
霊巖の書いた額のことは、『伝記』にも登場する。その裏面には慶長14年（1609）の霊巖署名がある。寄進の施主は、伝記に登場する里見の上級家臣・近藤九郎右衛門尉（くろううえもんのじょう）である。寛永13年（1636）朝鮮通信使が大巖院を訪れてこの額の書を嘆美したという。