弹劾桂林，指出他在战役中的失误，并揭露了他在军中的不当行为。桂林被指控在卡丫修建私人住所，并迫使下属为其提供各种物资和服务。此外，他还被控与副都统铁保、提督汪腾龙等人整日饮酒作乐，疏于职守，很少召见将领商讨军情。更有甚者，桂林还被指秘密命令汪腾龙使用黄金五百两赎回被俘虏的官兵，企图掩盖自己的过失。
面对这一连串的指控，乾隆帝对桂林的行为感到十分不满。考虑到桂林的失职已经严重影响到了军事行动的进展，乾隆帝决定立即罢免桂林的所有职务，并迅速派遣额驸、尚书、公福隆安前往前线接管军务，以期稳定局势并继续推进对金川的军事行动。
四、晚年
福隆安到达四川后，对桂林的指控进行了调查，并向朝廷报告称，之前宋元俊等人对桂林的弹劾多有不实之处。唯一证实的情况是桂林在墨垄沟战役中未能及时处理官兵伤亡的问题。至于用黄金赎回被俘官兵一事，实际上是因为军户部郎中汪承霈听到巴旺、布拉克底的士兵回师时迷路，向桂林汇报情况后，桂林才发放了五百两白银作为奖励，而非用于赎人。因此，福隆安认为桂林是被宋元俊等人诬陷，并请求朝廷对诬告者进行惩处。
乾隆帝虽然得知桂林并非如先前指控那样严重失职，但仍对其在军中的行为表示不满。他认为桂林在军中多次饮酒，未能与士卒同甘共苦，导致北山梁的士兵遭受了不必要的损失。因此，乾隆帝认为桂林仍有罪责，遂命令桂林前往新疆伊犁戍边。
然而，桂林的命运并未因此而终结。乾隆三十八年（1773年）七月，桂林从伊犁被召回，并被授予三等侍卫的衔位，再次被委以重任，前往前线督运粮饷。这表明乾隆帝仍愿意给他改过自新的机会，并希望借助他的经验和能力来支持前线的军事行动。
到了乾隆四十年（1775年），桂林再次获得晋升，被授予头等侍卫的头衔，并很快被任命为四川提督。此后，他又被实授为两广总督，表明他已经重新获得了朝廷的信任，并被赋予了更为重要的职责。
然而，桂林的好景不长。在他担任两广总督不久之后，便因病逝世。清廷对桂林的一生给予了高度评价，追加其为太子太保衔，并追谥为“壮敏”，以表彰他在军事和政务方面的