これ以降、虚籟は仏像制作に専念して、生活のための作品を織らなかったので、秋野が代わって、帯や、ハンドバッグを織って生計を支えなくてはならなかった。今日虚籟作と伝えられる小品の多くは、秋野が織ったものが多い。
昭和19年（1944）戦局の悪化とともに、東京での綴錦織制作を断念して、虚籟の郷里鶴岡への疎開を決心する。しかし、頼りとする郷里の親戚にとっては、虚籟一行は歓迎されない客であったという。
厳寒の中、凍死から逃れるために、命がけで守り続けた織機を涙ながらに「南無阿弥陀仏」と念仏を唱えて、燃やし暖を取ったという。こうした鶴岡での困難な疎開生活であったが、昭和20年8月、わが国は無条件降伏して苦しい戦いが終わったのである。