虚籟は生前、「仏像になった絹糸はそれが仏像になるがゆえに香を薫き、灯明を灯して、さらに花なぞを供えて衆人礼拝の対象となるが、同一の絹糸でありながらその謹作時において端糸屑糸となったが故に省みられることなく或いは空しく捨て去られる運命にある」糸屑を悼んで、彼がその曼荼羅行脚中最も険難な時を過ごした天澤寺に、将来この糸屑を供養する塔を建て、日本人の至情を後世に伝えると共に、ここを世界平和発祥の地たらしめたいと願ったという。
この糸塚は虚籟の念願に応えて、虚籟没後25年を記念して、故郷鶴岡の友人や彼を敬愛してやまない人々が心を合わせて建てたものである。その後、館山から虚籟の遺骨はこの地に改葬され、香煙が絶えることがない。