犯幽州，被王诜击败，复遭突地稽带兵阻截，因而大溃，势力由此大衰。是年七月，高开道掠夺赤岸镇，又劫掠灵寿、九门、行唐三县，之后率兵离去。
八月，高开道率领突厥奚族军再犯幽州，复被唐军击退。九月二十九日，高开道带领二万突厥骑兵侵犯幽州，又战不利。因屡败屡战，将士无不大怨。
高开道与杜伏威喜好相同，曾招募壮士数百人以为养子，使在阁下以充护卫。时有刘黑闼部将张君立自突厥逃归，来降燕王，高开道命其与爱将张金树分督其兵。
武德七年二月十八日，张金树暗令左右数人，佯作与高开道诸养子嬉戏。至晚进入阁内，暗自断其弓弦，又取刀矛兵器，皆都藏于床下。
天黑之后，张金树率部造反，鼓噪来攻，高开道急遣诸养子出战，但皆都找不到兵器，又弓弦已绝，不能发矢。
张君立早与张金树通谋，引兵在外城举火相应，于是高开道中军大乱。诸子困穷无计，恐被剿杀，争先出阁归附张金树。
高开道知道难免于死，便披甲持刀，据堂而坐。复命摆酒，与其妻妾奏乐酣饮。
张金树见而畏惧，不敢进逼。天将亮时，高开道先缢死妻妾儿女，而后自杀。张金树将高开道假子全部杀死，于武德七年二月遣使降唐。
高祖任命张金树为北燕州都督，以其地设置妫州。
高开道此一路隋末反王，就此便为秋日落叶，随风飘散矣。
有一则关于高开道趣闻轶事，未知真假。是说高开道在幽州起兵之时，于作战中被流矢射中面颊。高开道命唤军医入帐起箭，军医说箭射入骨，恐不能拔。高开道闻言大怒，亲手拔剑杀之。又唤一位民间郎中入内诊治，郎中说要拔箭并非不可，但恐将军难忍其痛。高开道闻言愈怒，又挥剑杀之。第三次找来一位木匠，二话不说，即开箱取出斧凿刀锯，干起活来。于是割开脸皮，凿开骨头，打入楔子，使骨头裂开寸许缝隙，终于取出箭头。整个手术过程之中，高开道不仅未曾呼痛，还命人奏乐上菜，开怀畅饮，连叫痛快。
武德七年三月，唐政府以太尉、司徒、司空为三公，下设尚书、门下、中书、秘书、殿中、内侍六省。再下设御史台并太常、光禄、卫尉、宗正、太仆、大理、鸿胪