長尾藩の本拠地は北条に移転したが、隠居した仰岳は白浜に留まった。仰岳の人柄について、嫡男の利武（号城山）はその回顧録のなかで「穎敏剛毅」と述べている。武士として誇り高く、文武と礼節を重んじる代わりに音曲は嫌い、利武の教育に関してはとりわけ厳しかった。勉学を怠って囲碁でもしようものなら、その碁盤を刀で切り捨てるほどであったという。廃藩後、東京や郷里の田中などに出ていく藩士が多くいた中で、自らが城地として選んだ場所に留まったのも、兵学者としての誇りであったのかもしれない。
白浜の熊野神社脇の自宅には漢学の教授を請う門人が多く集まり、秉彝（へいい）学舎と呼ばれた。講義をする仰岳の声は朗々として、門外遠くまで聞こえたという。依然厳格ではあったが、授業を怠けて水泳に出かける生徒がいても特別にとがめることもなく、晩年は比較的穏やかであった。
門人の総数は知る術もないが、その中からは、教育界を中心に後の安房の文化を担う数々の人材が育っている。
（以上、個人蔵）