辩，并请三奉行带回。
然而三奉行走后，秀次仍觉得不安，最终还是主动放弃关白之位，去往高野山自我流放。丰臣秀次在高野山的青岩寺感叹自己作为太阁殿下的木偶走到今天这一步，虽然也称得上是有趣的人生，但是若有来生，他却不想再作丰臣秀吉的外甥。
秀吉从石田三成处得知秀次躲去高野山后十分吃惊，而且秀次自己流放的行为很快就会令国人知晓，会对自己说长道短，有碍丰臣威信。本欲私下了事的秀吉为避免国内议论纷纷，便想着干脆将秀次前往高野山的行为说成奉自己的命令行事。
石田三成询问用何原因，丰臣秀吉思前想后，便以涉嫌谋反为由暂时解除其左大臣、关白职务，流放高野山。
秀吉叮嘱石田三成，说先将秀次幽禁一月，再传出嫌疑消除的消息，然后将他带回。按照秀吉的想法，如此一来就可以将一切遮掩过去，一切的一切都变得合情合理，秀次本人也能被带回来继续做他的关白。
当丰臣秀次“有谋反嫌疑”而被幽禁在高野山的消息传出之后，当时在京的德川家康与家臣本多正信、本多正纯都感觉事态已经愈发有趣。
除了德川之外，诸多大名其实平日广受秀次善待，但对于太阁与关白的关系变化，大名们则都不愿涉入其中，一则是此事复杂敏感，二则也是慑于秀吉威势。
几日之后，秀次家臣都再劝秀次前往大坂，秀次却认定自己在丰臣家中已无立足之地而不愿前往，家臣劝道：“属下认为您应该直面太阁殿下，告诉太阁殿下您内心的想法。而且您的侧近及部分亲族之所以都来了此地，也是太阁殿下希望能安定殿下之心。”
秀次微微挑眉，问道：“太阁殿下是想令我麻痹大意，才好将我完好无损地拿下么？”
这话问得有些意思，秀次这是知道太阁要拿下他轻而易举，只是如果堂堂关白鼻青脸肿甚至缺胳膊少腿的被拿下，那就难免让丰臣家威望扫地了。
家臣自然也懂他的意思，坚称绝无此事，秀次便轻笑道：“我也不知自己从何时开始变得如此敏感多疑……好了，我都知道了，我会保重的，有劳诸位。”
见他还是拒绝，众家臣也没办法强迫，只好无奈告退。
数日之后，丰