アヘン戦争で中国が敗北した情報を得た幕府は、天保13年（1842）以降、積極的な海防政策を行います。江戸湾の海防態勢が強化され、房総側は武蔵忍藩が海防を担当しました。さらに諸藩にも海防強化が命じられ、館山藩も江戸湾防備の一翼を担いました。
嘉永6年（1853）にペリーが来航すると、老中阿部正弘は武力の充実を目指して、幕臣への軍事教育機関である講武所の設置を計画します。4代藩主正巳は講武所取立総裁に任じられ、設立に尽力しました。さらに文久元年（1861）には講武所奉行、翌2年には若年寄に就任し、幕府の要職を担っていきます。特に軍事関係で活躍し、洋式軍制改革が進められるなか、陸軍奉行や海軍総裁を務めました。
諸外国が日本への圧力を強めるなか、13代将軍家定の後継者問題もあり、政治状況は混乱していきました。尊王攘夷派と公武合体派の対立が進み、元治元年（1864）と慶応2年（1866）には、幕府軍と長州藩との戦争が起きています。慶応3年、王政復古により幕府は崩壊し、翌4年正月には鳥羽・伏見の戦いで旧幕府軍が敗れます。しかし、その後も旧幕府勢力や諸藩の武力抵抗は続き、新政府軍による制圧が進められました。明治2年（1869）5月の箱館戦争終結まで続いたこの争い（戊辰戦争）により、各地で治安が悪化しました。5代藩主正善は慶応4年3月に上京して参内を願い、新政府への恭順の姿勢を示しましたが、前藩主正巳が旧幕府で老中格を務めていたことを理由に保留とされ、正巳は館山で自ら謹慎します。5月に至り2人はようやく御免の沙汰状を手にしました。
