しかし、翌嘉永4年（1851）6月、楽山は武八との縁組を解消して館山へと帰郷し、画学教授として館山藩へ仕官した。好学の藩主であった稲葉正巳は館山の儒者新井文山に代表されるように市井からの人材登用を行い、藩政改革をすすめており、文山は後に郡奉行になったが、楽山もやがて藩財政を担当するようになる。そして明治2年（1869）11月には、館山藩二等郡吏兼会計吏に、翌3年閏10月には権大属という要職に任じられ、民政専務として四人扶持を給されている。とはいっても、陣屋では長屋住まいの困難な生活を強いられたという伝承も残されている。明治4年（1871）7月の廃藩置県では、引き続き館山県に出仕したが、11月の木更津県成立による館山県の廃止にいたって離禄することとなった。
