北魏太和十七年，于谨出生，河南洛阳人。
少年时代的他性情深沉，颇有见识，而且度量过人。
喜好读经史书籍，尤其爱好《孙子兵法》。
他早年隐居在乡里，没有做官出仕的志向。
“北魏正光四年，破六韩拔陵在北部边境起事，引柔然作为应援，大行台仆射元纂率军讨伐他。”
“元纂一向听说过于谨的名声，就征召他任鉴曹参军事，让他从军北伐破六韩拔陵。”
“柔然听说北魏军逼近，就逃出边塞。”
“元纂命于谨率两千骑兵追赶柔然，追到郁对原，前后交战十七次，把柔然的兵众全都招降。”
“后来他率轻装骑兵出塞窥视柔然军，碰上铁勒的几千骑兵突然来到，于谨认为寡不敌众，如要退军必然走不脱。”
“于是分散他的骑兵，让他们躲藏在草木丛生的地方，又派人登山指挥，好像布置兵马的模样。”
“铁勒兵看见了，虽疑心有伏兵，但仗恃着人多势众，并不恐惧，就进兵逼近于谨。”
“于谨因为常常骑一匹紫色和一匹黑嘴黄色的骏马，敌兵先前都认识，于谨就派两个人各骑一匹，冲出敌阵而去。”
““敌兵以为是于谨，都争着追赶。”
“于谨于是率领其余的人马杀过去，追赶的骑兵就逃走了，于谨因此得以进入边塞。”
“正光五年，行台广阳王元深出兵北伐，引荐于谨为长流参军，对他特别礼遇。”
“所有的谋议，都和于谨商量。”
“元深还让自己的儿子元佛陀拜见于谨，如此亲密地对待他。于谨和元深打败了敌军首领斛律野谷禄等人。”
“当时已是北魏末年动乱时候，群盗蜂拥而起，于是派于谨前去招抚。”
“于谨同时懂得几族的语言，就单骑进入敌军当中，向他们宣示恩信。”
“于是西部铁勒的酋长乜列河等人，率领三万多户人家一起归附，相随着往南迁徙。元深准备和于谨去折敦岭迎接他们。”
“破六韩拔陵果然前来拦击，在岭上把乜列河打败，乜列河的部众都被他掠走。”
“于谨的伏兵冲出来，叛军就此大败