文久三年の早春、継之助は長岡藩の公用人として出仕上洛した。その頃、長岡藩主牧野忠恭は会津藩主松平容保の京都守護職の下の所司代を務めていた。継之助は京の形勢を達観し、所司代の職が容易でないことを悟って、藩主に辞職をすすめた。しかし、進言は容られず継之助はしぶしぶ帰国した。

元治元年、出府と同時に継之助は藩主の老中職就任に痛烈なる意見書を提出し、重役と論争し屈服させた。さらに支藩の笠間藩主牧野貞明に「辞職が長岡藩のためになる」と論争し貞明を痛罵したという。このため忠恭は継之助を退席させ、帰郷を命じた。

元治元年頃、継之助は義兄梛野嘉兵衛宛の書簡で長州征伐の非を説いている。
長州征伐の前途を憂い、幕威の失墜は第二第三の長州藩を出し、尊王撰夷論者の愚かさを嘲り、外国船を砲撃した薩長両藩の無謀を憤慨し、かつ開国進取主義をすすめ富国強兵こそが第一義だと述べている。

慶応一年、山中騒動がおこった。山中村では前々から小作人と庄屋、庄屋徳兵衛の家の内紛などがあり、代官・郡奉行は解決できないでいた。継之助は長岡藩の外様吟味役に就任するや、関係者一同を長岡に召喚して精査。情理を尽くして説諭したという。双方が出訴を取り下げるやいなや庄屋・農民らを喧嘩両成敗の形で罰し、難事件を解決させた。この功により抜擢され、郡奉行の要職に就くことになった。

このころより継之助は次々と藩政改革に着手してゆく。継之助がめざした目標とは、長岡藩財政の立て直しであった。長岡藩もほかの藩と同様藩財政の借金に苦しんでおり、藩財政の立て直しが第一の急務だった。

まず最初に行った具体的な改革としては、郡奉行就任時、村方の庄屋らは慣例により祝儀を贈ったが、継之助は無用として持ち帰らせた。

人材徒用

藩政改革を進めるにあたり、まず継之助が行ったのは人材の徒用である。村松忠治右衛門を勘定頭にあげ、勘定役所の旧弊を改め、家中の扶持米も引き直し、勝手方の経費の切りつめをやらせた。また旧来から継之助を慕っていた三間・花輪のほかに民政を担当していた代官・郡奉行級から小金井儀兵衛・萩原貞左衛門・村松ら、なかでも藩医小山良運の意見を最も重要視した。

増収策

長岡藩の領地には信濃川が貫流していて、水害が多かった。水害にあった土地は水腐地と称して、五カ年の納税を免除する定めがあったが、代官や地元民は結託して無税の年限を延ばしたりしていた。継之助は村松とはかり、私曲の噂のある代官を罷免し、調査を行い、年に六千俵の増収をあげた。

さらに、いままでの行法を改革するとともに、水害を防ぐ施策や田や沼に樋を入れることによって生産を増大することを行っている。たとえば毛見の本陣を御蔵に変更し、従来、割元庄屋で行っていた過分な酒食の饗応、賄賂・請託等をやめさせた。
その一方では領地内にある三潟に新しい樋を布設し海水の逆流を防ぎ、中ノロ川の改修を推進して、米の増産に努めた。そのほか、田地の売買の裏書料をとることをやめさせ、相対の救助法を設け、凶作や水難の際の手当米を定めた。

町政の改革

四町奉行も兼ねることになった継之助は、町政を預かっていた検断職の草間・宮内・太刀川の三名を奉行所に呼び出し、奢移の風を糺し、その職を廃止させた。
また産業振興策をとり、入役銀・河税の廃止や株(船乗・肴屋・湯屋・髪結`髪付油・青物問屋)に対しての一部特権を廃止させた。なお、町役人の数を減じ、その給与規定も
改正させた。

また、新たに寄場と称する懲役場を蟻座役所跡に設けた。不浪のものを取り締り、労役を課し、賃銀から食費を除いた残金を積み立て放免の日に与え、時々一堂に集め場長みずから心学本を読み聞かせて、囚人を更生させた。このため領内の遊民不浪の輩は減少し、風俗は一新した。


賭博の禁止と遊郭の廃止

当時、末端の治安を荷う目明しは、賭博を渡世にしていたが、継之助は風紀に及ぼす害毒の多さを説得して禁止した。
長岡城下には横町と石内に遊郭があった。継之助は両町の楼主たちを町役所へ呼び出し、売女などは旧弊の源であるとし廃業を申し渡した。
廃業にあたっては資金を貸出し、娼婦には旅費を与えた。この遊郭廃止は継之助の遊び好きに反しており、一首の落書があった。

河井かわいと今朝までおもい　今は愛想も継之助


財政面での改革

財政面での改革としては、第一に藩債の整理に着手し、領内吉田の豪農今井孫兵衛からの借金三万両を棒引きにした。そのうえに献金させた。主として藩費の節約をはかり徴税の改廃等を行い蓄財に努めたが、多くは兵備が急を要するとして、領内に御用途金を申しつけた。このため、慶応三年暮れに剰余金高は九万九千九百六十両となった。

学制の改革

藩校崇徳館を朱子学派の一学派に統一するとともに、組織を改革し校規の厳格化を図った。また崇徳館内に造士寮を設け、寄宿制による人材養成を行った。


兵制改革

城西の中島に操練場を造成し、兵学所もそこへ移した。射的場は百間もある大きさで、藩兵をフランス兵制の三個大隊に組織して訓練を行った。兵制改革にあたっては、幕府の蕃所調所教授となった鵜殿団次郎の意見を採ったという。なお、鵜殿の実弟白峰駿馬は土佐の海援隊に入つている。

さらに継之助は藩兵の西洋式装備を積極的に推進した。まず各戸に一挺ずつミニエール銃を配備した。兵器は継之助と親交のあった外国人エドワード・スネルとファーブル・ブラントから購入したと云われる。

長岡藩の兵制改革は非常に短時間の内に行われた、これは継之助の手腕によるものであるが、ファーブル・ブラントから購入した書籍からの知識によるところが多い。慶応三年九月の受領証に歩兵操練書・地理書・施條銃論などを八両一朱と三百文で購入していることがわかる。元掛川藩士の福島住弍は横浜のファーブル・ブラントの館で、継之助がフランスの兵制・兵器を一所懸命に研究している姿を見たと、後年語っている。