时，宋廷趁机开始打压手握重兵的将领，特别是坚决主张抗金的岳飞和韩世忠两人。完颜宗弼在给秦桧的书信中语气凌厉地说道：“你们天天跟我们谈议和，但岳飞那家伙却在黄河以北积极备战，而且还杀了我的女婿，这口气我咽不下！必须要杀掉岳飞，然后才能考虑议和。”
四月，朝廷发布命令，让张俊、韩世忠、岳飞这三位大将离开他们统领的军队，前往临安枢密院任职。其中，韩世忠和张俊担任枢密使，岳飞则被任命为枢密副使。
五月，张俊与岳飞一起视察楚州韩世忠的军队。期间，张俊暗中挑拨岳飞，企图让他一起分解这支军队。然而，岳飞毫不客气地拒绝了张俊的提议，并表示自己绝不会参与这样的行为。与此同时，秦桧试图利用军吏耿着的事情来诬陷韩世忠。岳飞得知此事后，立刻写信通知韩世忠，帮助他逃过一劫。
岳飞回到朝廷后，立即遭到了秦桧党羽万俟卨和罗汝楫的弹劾。他们污蔑岳飞在支援淮西时故意拖延时间，并且主张放弃守卫山阳（楚州）。这些莫须有的罪名导致岳飞最终失去了枢密副使的职位。
八月九日，岳飞被罢免了枢密副使的职务，转而担任“万寿观使”这一清闲官职，于是岳飞请求回到江州庐山老家过悠闲生活。
尽管此时岳飞已经失去了兵权和权力，但对他的迫害却并未停止，反而越发紧迫。在秦桧的指示下，张俊利用岳家军内部的矛盾，逼迫都统制王贵诬陷岳飞，而王贵最终屈服于压力。接着，张俊收买了张宪部下的副统制王俊，让他出面告发张宪“谋反”，以此来牵连岳飞，并找人代替他写好了一份告发书。当王俊得知张宪外出时，他趁机将告发书投递给了王贵。随后，王贵将这份告发书转交给了秦桧的心腹林大声。林大声再将它传递给了张俊所在的枢密行府。没过多久，张宪回来了，张俊立刻抓住机会将张宪逮捕。
张俊私自设立公堂，对张宪施以残酷的刑罚，试图逼供。然而，由于没有得到任何有用的信息，张俊竟然编造了张宪的口供，声称他“为收岳飞处文字谋反”。岳飞在江州停留的时间很短，很快就收到了朝廷的命令，要求他返回临安府。
秦桧心中暗自思忖着，他派遣了殿前都指挥使杨沂中去秘密拘捕岳飞，并且特别叮嘱道：“务必