ある日、京都所司代の板倉勝重が家康の命で大久保忠隣を訪ねた。
そのとき忠隣はちょうど将棋をさしていた。
「どのような御用向きかは存じている。命を受けてからではこんなことも
できないだろうから、これを終えてからにしてほしい。」
忠隣の願いを勝重は了承し、対局が終わると所領没収の旨を伝えた。
罪状は徳川家に対する謀叛企てだという。これは本多政信父子との
政治的対立に起因するという。

忠隣失脚は都中に伝わり、ひと騒ぎ起こると噂になった。忠隣は噂を
鎮めるために武具全てを勝重に送り、一族郎党を退去させたので騒ぎ
は収まった。

その後、家康が没すると出家を決意して比叡山などの僧侶を配流先の
近江に呼び寄せた。そのとき忠隣は僧たちに話を聞かせている。
「私はこれまで人に隠さねばならないようなことをしたことはない。１１歳
のころから家康公に仕えたが、仕事で他言したことはないし、重要な
仕事をしたときに内心省みて贔屓をしたことはない。わがまま、分け隔て、
悪口などもしなかった。ただ理を通してきたのだ。」
僧たちはこの話を人に伝えるとき、皆涙したという。

やがて政敵の本多正純が失脚した。将軍秀忠はかつて側近として自分を
支えてくれた恩からか、忠隣を復権させようとした。しかし忠隣はこの要請
を固辞し続けた。配流先の井伊直孝が出仕を薦めたとき、忠隣は自分が
出仕しない理由を語った。
「私に罪がなければこのような境遇になるはずがない。仮に申し開きが
あったとしても、家康公亡き今、復権したとあっては家康公の御判断が
間違っていたということになる。そして、それは秀忠様が御父君の間違い
を明らかにすることになってしまう。私は自分の無実の証明にために、
世間が家康公の御処置を疑い、秀忠様がご不幸になるようなことは
避けたいのだ。」

結局、その後も忠隣は復権することなく、75歳の生涯を閉じたのだった。