元治元年（1864）、藩主正訥は駿府城代という幕府の要職についた。駿府城は東海道の重要な拠点にあたる。この駿府城の防備や戦略の対策を行うために、仰岳は藩から城の様子を調査するように命じられた。その翌年には『西洋流砲術一班抄』十巻十冊を著すなど、この頃の仰岳は兵学者としてまさに脂の乗り切った時期にあったといえよう。
慶応3年（1867）、大政奉還によって幕府は終わりをつげ、翌年の鳥羽・伏見の戦いに敗れた徳川氏は、江戸城を明け渡して、駿河・遠江・三河を治める一大名となった。このため駿遠の諸大名は房総へ所領を移されることになり、田中藩は安房への所替を言い渡された。城主の格式を持つ大名は、領地において城を築かなければならない。仰岳はこの時すでに60歳だったが、藩の算学者古谷道生とともに、さっそく安房での城地選定にあたることになった。
本多氏は長尾藩主として房総に4万石を与えられた。その領地は朝夷を中心に安房、平、長狭の各郡にまたがり、一部は上総の天羽郡内にもある。この中から仰岳が城の建設地として選んだのは白浜の長尾川流域であった。海岸まで迫った丘陵に取り囲まれた、天然の要害ともいえる場所で、かつて里見氏が居城とした白浜城跡に連なる地でもある。仰岳が従来の軍事的見地から選んだ地であったが、土地の狭さと交通の不便さから反対を唱えるものもあったという。長尾城の建設は、明治2年（1869）頃にはかなり進展し、藩士の移住も始まっていたが、同年の夏、大風に見舞われて、建設中の家屋が倒壊してしまった。これを期に、かねてからの反対論が主導権を得て、北条（館山市）に新たに陣屋が建設されることとなった。明治3年（1870）9月、仰岳は長尾藩から権少参事に任ぜられるが、その直後10月に職を辞した。長尾城倒壊の責務を負ってのこととされる。
すでに藩籍奉還の措置がとられ、時代はもはや強固な防備の城郭を必要とはしなくなっていた。仰岳の辞任は、時勢の変化に伴う世代の交代であるといえるかもしれない。
