天保5年、方谷は家業を弟に預け江戸の佐藤一齋の塾へ入門する事にした。

佐藤一斎塾入塾後、しばらく立って佐久間象山という人物が入塾する。佐藤塾で塾頭となった方谷に対しても象山は毎晩のごとく論戦を挑んでくる。塾生は毎晩うるさくて眠れないと佐藤に訴えるが等の佐藤は二人の論戦を楽しんでいた。

妻の進は方谷留守中、女手一つで娘の瑳奇を育てていた。瑳奇を方谷自身と思い懸命に育てた。
進にとっては瑳奇は生き甲斐だった 、瑳奇が幼くして病気で先立った。10歳の可愛い盛りであった。
方谷は遊学中の江戸で娘の悲報を知った。厠に飛び込み大声で泣いた。周囲には誰とは解らぬ嗚咽が響いていた。