员对他的态度也非常傲慢无礼，尽管他仍然保留着钦差使臣的官衔。
尽管身处逆境，郭嵩焘并没有放弃自己的理想和信念。他蛰居乡野期间，依然关心国家大事，经常就时事外交问题上书朝廷，并致书李鸿章等重臣表达自己的观点。晚年，他还积极参与社会公益活动，在湖南开设禁烟会，致力于宣传禁烟运动。每年的大年初一，郭嵩焘都有赋诗一首以纪年的习惯。光绪九年（1883年）正月初一，65岁的他在诗中写道：“眼前万事随云变，镜里衰颜借酒温。身世苍茫成感喟，盛衰反复与谁论？”这首诗深刻地反映了他晚年的心境，表达了对时局变幻和个人命运的感慨。
光绪十七年（1891年），郭嵩焘因病去世，享年73岁。在他去世后，李鸿章曾上奏请求朝廷将郭嵩焘的事迹载入国史馆，并请赐予谥号，但这一请求未获批准。清廷上谕再次强调：“郭嵩焘出使外洋，所着书籍颇受外界争议，因此不为其追赠谥号。”