ペリー来航後の海防掛本多忠徳等の海岸巡視によって内海（富津岬・観音崎ラインの内側）の警備に重点がおかれることになり、嘉永6年（1853年）の内に警備担当も上総で富津陣屋をを中心とした地域が会津藩から筑後柳河藩（福岡県）へ、竹ヶ岡陣屋と安房国は忍藩から岡山藩へと引き継がれ、親藩・譜代大名から外様大名へと警備の役割が変わります。岡山藩は北条陣屋を拠点に、安房国安房・平・朝夷3郡と上総国天羽郡の3万石98か村の支配地域を6年間預り地としました。安政5年（1858）の日米修好通商条約の締結で岡山藩は解任、房総の警備施設はほぼ廃止となり、富津の陣屋と台場のみが柳河藩から奥州二本松藩（福島県）へと引き継がれました。
