山造湖，但凡游山必要探寻险峻幽深，不畏险阻，无所不至。
为便于登山，自创木屐，前后齿皆可装卸，后世称为灵运屐或谢公屐。
谢灵运大兴劳役，曾从始宁南山到临海一路伐木开道，临海太守王琇闻之，以为山贼来袭，甚为惊恐，后来得知来者乃是谢灵运。
谢灵运邀请王琇一同游玩，王琇不肯。
会稽太守孟顗信仰佛教，谢灵运当面讥讽道：成仙得道者应有灵气文采，则公升天定在我前，成佛必在我后也。
孟顗极恶谢灵运所言，便利用谢灵运性格放荡不羁、对百姓多有侵扰之事，上奏疏于文帝，说谢灵运欲图谋反，并私自调用本郡军队防守自卫。
谢灵运闻说此事，飞骑进京上书自辩：臣归家养病至今三年，平日远离城郭居住，鲜与世人交道，多于偏僻穷山岩洞之间，只想修身养性，平静过完余生。今突闻会稽太守孟顗上疏劾我谋反，深感惊异，不知究竟为何？若只以谣言作为罪证，何其残酷耶！某非惜命，只是难受其枉，故扶病投奔陛下，并请圣裁。
皇帝亦知其冤，故免其死，且令为临川内史，增加俸禄到两千石。
谢灵运赴任后游乐如故，不理政事，复被有司弹劾。
司徒刘义康派临川王从事郑望生逮捕谢灵运，谢灵运反而擒杀郑望生，弃官而逃，并于途中写诗道：韩亡子房奋，秦帝鲁连耻；本自江海人，忠义感君子。
终被追及逮捕，被送到廷尉定罪。廷尉奏说谢灵运杀害朝廷命官，应处以死刑。
皇帝惜其才华，于是下诏：谢灵运罪过深重，确实应判死刑。但念其祖谢玄有功于国，应谅其子孙，免死充军广州。谢灵运于是颠簸流离，远配南荒边地。
元嘉十年，秦郡府将宗齐受奉郡守之命出使涂口，途径桃墟村，见有六七人在路上胡乱说话，怀疑不是好人。回来告诉郡县长官，遂派兵随同宗齐受前去抓捕，全部投入监狱。
其中山阴县人赵钦招供：本村人薛道双曾奉侍谢灵运，通过成国告诉我说，谢某充军广州，以钱财命我等购买弓箭刀枪器械，结交乡里健儿，在三江口劫救谢某。我等图其钱财，于是集合众人劫取谢某，但没成功。我众人回来时饥饿，只好沿路打劫，此供是实。