，萧詧却不接受替代，使张缵驻兵西城，以礼相待。
萧詧认为自己兄弟被人陷害，祸源定是张缵，准备暗中除之。便命部将杜岸欺骗张缵：岳阳王殿下权势熏天，不容人仰视，况欲使人代之耶？将军不如暂往西山驻扎，以避祸患。在西山既得人心，远近之人必定前来投奔，再凭此起兵，则事情无有不成功者。
张缵认为言之有理，即与杜岸等人结盟发誓，约为兄弟。又邀请雍州人席引在西山聚集部众，其后男扮女装，坐黑布帷幔马车，与亲信十余人出逃。
席引等人与杜岸驰马而回，急去报告萧詧。
萧詧遂令中兵参军尹正，会同杜岸等人领兵追赶，将张缵一行全部捉住押回。张缵惧怕被杀，请求出家为僧，萧詧不从，派人押在军中严加管束，并尽收其部众。
萧詧拘押张缵，便留参军蔡大宝防守襄阳，自率二万步骑南下江陵，来救胞兄萧誉。
此时江陵外城三面树立栅栏，只有北面空虚。萧詧乘机进攻，萧绎大惧，即派参军庾奂出城来见萧詧道：萧正德勾结北虏，肆乱建康，朝廷分崩离析。殿下既为宗室，究竟何为？七殿下与你兄弟二人以重任相托，今侄来伐叔，天理何在？
萧詧答道：家兄无罪，而被七叔围攻。某岂能不念手足之情，袖手旁观？七叔若退兵到湘水，我则必撤回襄阳。
萧绎见其回书，无言以对，复令在北门树立寨栅。萧詧率军攻打，攻不破栅栏，只好退兵筑城，复尽出精锐进攻。
过了数日，突然天降大雨，平地水深四尺，萧詧军营泡在水中，部众多生离散之心。
部将杜岸及其弟杜幼安、兄长之子杜龛，率领部下投降江陵。杜岸兄弟子侄突然倒戈，萧詧部众连夜逃回襄阳，尽弃器械物资。于是先杀张缵，然后撤军回至襄阳。
杜岸投降之后，请率五百名骑兵偷袭襄阳，萧绎从之。杜岸兄弟引兵兼程北上，离襄阳城三十里时，被城中守军发觉。
守将蔡大宝辅佐萧詧之母保林龚氏登上城墙，关闭城门拒守。恰巧萧詧逃回，率众入城。杜岸兄弟由是不敢攻城，遂至广平投奔其兄杜巘。
萧詧派尹正、薛晖攻克广平，捉住杜巘、杜岸，带其母妻子女全部诛杀。又将杜氏宗族中亲近者全