裴行俭出身于世家大族，属河东裴氏中眷房。
其祖先出自嬴姓，是皇帝后裔伯翳的后代。
其父裴仁基，曾任隋朝左光禄大夫，隋末乱世与长子裴行俨于洛阳被王世充所杀。
唐朝追赠其为原州都督，谥号为忠。
裴行俭年幼之时，凭借门荫得以进入弘文馆成为生员。
贞观中期，参与科举考试，以明经中选进入仕途，初仕为左屯卫仓曹参军，获得大将军苏定方重视，得以传授其兵法。
后转任雍州司士，累迁为金部员外郎与户部员外郎。
“显庆二年，晋升为长安县令。”
“高宗李治废黜王皇后、册立武昭仪时，裴行俭与太尉长孙无忌和尚书左仆射褚遂良私下议论此事，认为国家忧患必然会从这里开始。”
“大理寺卿袁公瑜将此事密报于武昭仪之母杨氏，裴行俭因之贬黜为西州都督府长史。”
“后改任为金山副都护，麟德二年，累迁为安西大都护，与西域从政七八年时间，注重教化，注重经济发展与民族团结，西域诸国慕义选择归顺唐朝。”
“因政绩突出，裴行俭被高宗李治召回京城，升任同文少卿，不久后提升为司列少常伯。”
“咸亨初年，恢复旧官名为吏部侍郎，与李敬玄和马载一同担任官员选拔的工作，以能吏著称，被人们称为裴李、裴马。”
“唐初，新旧制度并存，官场较为混乱，裴行俭大胆创新，进行人事制度改革，创造长名榜、铨注等方法。”
“规定州县官员升迁、资历高低的标准，以此进行官员选拔，该办法被后世沿用下来，影响深远。”
“上元三年，吐蕃进攻唐朝边疆，裴行俭被任命为洮州道左二军总管。”
“不久，改任为秦州右军总管，接受元帅周王的统一调度。”
“仪凤二年，十姓可汗阿史那匐延都支以及李遮匐，联合周边少数民族部落，进攻安西，并与吐蕃结为联盟。”
“朝廷准备派兵征讨，裴行俭上书建议高宗李治利用护送波斯王子泥涅师回国之际，途中趁机偷袭，可不劳而功。”
“于是高宗李治命令裴行俭护送波斯王子泥涅师回国继承王位，