在担任两江总督期间，尽管展现了出色的能力，但由于与时任权臣和珅之间的矛盾，导致了他的职业生涯出现了一系列挫折。
起初，书麟因高邮巡检陈倚道揭发下属书吏伪造印章重复征收税款一事而受到牵连。尽管书麟本人并未直接涉及此事，但作为上司，他被认为对下属的不当行为负有监管不力的责任。为此，书麟被贬为山西巡抚，这标志着他从高位上的第一次跌落。
然而，书麟的困境并未就此结束。在山西巡抚任上，他仍然面临着来自和珅的打压。内阁学士尹壮涂曾评论说，州县官员的亏空问题严重，而只有李世杰和书麟二人能够独善其身。这一言论虽然表面上是对书麟廉洁的认可，但实际上却让和珅对其更加忌惮。
和珅随即采取行动，命令尹壮涂赴各地清查仓库，并刻意从山西开始，意图进一步打击书麟的地位。尽管书麟在清查过程中可能表现得无可指责，但和珅利用手中的权力，继续寻找机会对其进行压制。
最终，书麟因被指控对两淮盐政巴宁阿与商人的不当关系有所庇护而再次受到惩罚。这次，他不仅失去了原有的官职，还被降为三等侍卫，并被派遣到遥远的新疆服役。
然而，书麟并没有因此放弃。即便在新疆服役期间，他仍然尽职尽责，维持着自己的清廉形象。他坚信正义终将得到伸张，因此一直保持着积极的态度面对困境。
幸运的是，随着和珅的倒台，书麟的政治生涯迎来了转机。嘉庆四年（1799年），和珅因贪腐等问题被查处，书麟也因此重新获得了朝廷的信任。他被召回京城，并被授予吏部尚书的高位，兼任正红旗汉军都统，加太子少保衔。