乾隆二年（1737），图理琛深感年事已高，难以胜任繁重的政务工作，于是向朝廷提出了退休的请求。乾隆帝考虑到图理琛的贡献和年龄，批准了他的请求，允许他光荣退休。图理琛的退休标志着他长达半个世纪的官场生涯画上了圆满的句号。
退休后的图理琛回到家中，享受着平静的晚年生活。尽管不再参与朝政，但他依然关心国家大事，时常与家人谈论时局变化。图理琛在家中仍然保持着读书的习惯，继续钻研学问，充实自己的精神世界。他在晚年的生活虽然平淡，但却充满了宁静与满足。乾隆五年（1740），图理琛在家中安然辞世，享年74岁。