忍者集団はその後も、アイヌや敵対する南部藩の監視や諜報活動に従事。そして1672年に吉成が死去した翌年、4代藩主の津軽信政が甲賀忍者の中川小隼人を江戸でスカウトし、正式に忍者集団「早道之者(はやみちのもの)」を結成したと言われている。
早道之者は、1870年(明治3年)まで活動したことがわかっている実在した忍者集団で、弘前藩の200年余りに渡る藩政が記録された『弘前藩庁日記』には、活動の一部が記録されている。また、弘前藩が残した『分限元帳』には、約60名分の名簿も確認されている。2018年には、青森県弘前市立図書館で武器の作り方やまじないの文言が記載された忍術書の原本も見つかった。
江戸時代に建てられたとされる忍者屋敷は、早道之者の指導的役割を担った棟方家が所有していたことがわかっており、忍者の詰め所として使われていたとされる。
ちなみに、現在のオーナーの佐藤さんは忍者の末裔でも、棟方家の子孫でもない。早道之者が解散した後、屋敷は普通の民家として使われていたようで、1953年に相馬フクさんが購入した。
相馬フクさんが亡くなった後は3人の娘が遺産を相続し、長女とその夫(會田夫妻)が管理していた。ふたりも相馬フクさんから「忍者屋敷だった」と聞いていたそうだ。2016年、忍者を研究している青森大学社会学部教授の清川繁人さんに連絡して調べてもらったところ、「忍者屋敷と見てほぼ間違いなし」という結果が出た。