后，嵇璜被特许可以在紫禁城内骑马，并允许乘坐轿子入朝值班，但他依然坚持除非身体极度不适或遇到恶劣天气，否则依旧步行入朝。
然而，到了1789年，嵇璜在上 书 房的工作中出现了疏忽，未能及时纠正其他官员的旷班行为，这引起了乾隆帝的不满。考虑到嵇璜年事已高，乾隆帝从宽处理，只降三级留任，而非更严厉的处罚。
1790年，嵇璜迎来了八十岁的生日，恰逢他中进士六十周年纪念。乾隆帝特别恩准他与新科进士一同参加琼林宴，这一举动在当时被传为佳话，显示了皇帝对嵇璜的特殊关怀和尊重。
嵇璜与乾隆帝同年出生，而且他的祖父和父亲都曾受到朝廷的恩宠，因此，乾隆帝与嵇璜之间有着深厚的友谊，两人常常以诗歌的形式进行交流。在嵇璜八十寿辰之际，乾隆帝御笔题诗，表达了对嵇璜的深切感情，并希望他在自己退位后还能继续享受宁静的生活。
到了1792年，嵇璜再次请求退休。他与刑部右侍郎、同乡秦瀛关系密切，秦瀛在其着作《书嵇文恭遗事》中生动地记述了嵇璜请求退休的过程。嵇璜在四月时拿着奏稿找到秦瀛，表示自己年老力衰，不愿再占据高位，准备请求退休。秦瀛建议嵇璜应该当面向乾隆帝提出请求。第二天，嵇璜面见乾隆帝时，乾隆帝表示希望嵇璜能再等等，并承诺在自己从热河回来后再作决定。第二年春天，嵇璜再次请求退休，乾隆帝在召见军机大臣时表达了对嵇璜的不舍，并提到自己退位后也希望嵇璜能一同退隐。秦瀛被指派传达乾隆帝的话给嵇璜，嵇璜听后泪流满面，表示自己既不敢也不忍心离开。最终，嵇璜放弃了退休的想法，继续为国家服务。