虚籟は大久保家に50日ほど滞在し、綴錦織の手ほどきを受ける。この年、虚籟と妻いく子とのあいだに生まれた長女昌子を亡くしている。そんな落胆の中、東京から埼玉に転居した虚籟は、慣れない日雇いの労務者として働きながらポツポツと綴錦織の小品を織るようになる。
翌大正12年9月１日（1923）に発生した関東大震災に見舞われたことをきっかけとして、虚籟はこれまでの放浪生活に決別し、本気で綴錦織作者として生きる決意をする。大正13年（1924）安房北条（現在の千葉県館山市）へ一家で移り住んだのである。
綴錦織の職業作家としての道を歩みだした虚籟であるが、かねて習得したことがあるデッサンと違い、消してやり直すことができない綴錦織制作の苦心は大変なものであった。
綴錦織の技術の追求をすればするほど、研鑽に励めば励むほど、家系は窮乏し、家族の困難は筆舌に尽くしがたいものであった。当時４・５歳の長男哲雄が、食事の際に、具のない味噌汁の味噌豆を欲しがって「豆食う、豆食う」と言うのを聞いた時は思わずホロリとしたという。
そうした中で、早くから虚籟に注目し、激励したのが、高村光太郎であった。高村光太郎は日本工芸美術館展覧会に出品するように勧めたが、虚籟が窮乏のため制作できないことを知ると、木彫りの「鯰」を与え、これを売って、製作費に当てるようにと励ましたのである。感激した虚籟は綴錦織壁掛「芭蕉の図」を織り上げ、出品すると見事入選を果たしたのである。大正14年（1925）、虚籟35歳であった。