稲葉家に仕えた家臣たちは、館山藩士として国元の陣屋や江戸屋敷で藩行政にあたりました。館山藩の職制や家臣団の全体像が分かる資料は残念ながら残されていませんが、安政5年(1858)の文書によれば、江戸屋敷には約80人の家臣が勤務していたようです。明治3年(1870)には士族78人、一代限りの足軽等が33人とあることから、大部分の藩士は江戸詰で、藩政の中枢は江戸に置かれていたと考えられます。
国元では城山の南東側に館山陣屋が置かれ、藩士の屋敷地も設けられました。この地区は現在も「御屋敷(おやしき)」と呼ばれています。稲葉氏が創建したと伝えられる貴美(きみ)稲荷が鎮座し、4代藩主正巳の位牌が置かれています。
藩士たちの職務やたしなみについては、儒学や医学、絵画、俳諧など多彩な活動がうかがえる資料が残されています。学問を好んだ4代藩主正巳は、市井からの人材登用に積極的で、館山新井浦出身の儒学者・新井文山や、沼村出身の画家・川名楽山などを藩士に採用しました。江戸時代後期、儒学や漢詩、俳諧は一般庶民にも広がりを見せており、藩士たちも安房の人々とともに学問や文化を通じた交流を楽しんでいました。また、西長田村出身の藩士で、俳人としても活動した鈴木謙助の追善句集には、安房や江戸だけに止まらず、東北・関西の俳人からも句が寄せられており、交流の広さを知ることができます。