霊巖が学んだ大巖寺は、関東の諸寺院の中でも早くから徳川家康と親交がありました。特に、大巖寺第2世の安譽虎角（こかく）とは、太い結びつきがありました。
そのような大巖寺の第3世として法灯を継いだ霊巖は好む好まざるとにかかわらず、結局、家康と関わりを持つこととなります。こうして霊巖の人生に、しばしば将軍家の意志が作用します。
霊巖がしばしば寺を辞して教化の旅に出た原因の一つには、多少の幕府の関与があったとも考えられます。
その一方で、大巖寺を辞して奈良に赴き、霊巖院（霊巖寺）を建立し、布教に専念している霊巖を、家康は伏見城に呼んで、また大巖寺に戻るように説得してます。
檀林制度が整って、公許の数が十八と規制されている中で、霊巖が新たに檀林を設置していることを訴える者があっても、幕府はこれを黙認していたようで、霊巖を特別扱いしていたようすが分かります。
さらには江戸の霊巖寺にいた霊巖を、増上寺などの紫衣（しえ）（上級）檀林の住持を経ずに、台命によって、いきなり総本山知恩院の住持にしています。
こうして布教者霊巖は、家康、秀忠、家光と三代の将軍の帰依を受けることになります。登城して将軍に法話をするときは、玄関口までの籠の乗り付けや、座敷内での杖の使用やらと、格別な待遇を受けたともいいます。