令和秦王、齐王的命令，还有皇上的诏书，都是一块儿发，下面的官员都不知道该听谁的，只好看谁先来就先听谁的。李世民看淮安王李神通有功，就赏了他几十顷田地。结果张婕妤也想要，皇上就手写了一道诏书赐给她。李神通说太子的命令在先，不给。张婕妤就跟皇上告状，皇上生气了，就责备李世民，还说：“你这小子，长期在外带兵，被那些书生给教坏了，不再是以前那个听话的儿子了。”
李世民有时候在宫里陪皇上吃饭，想起他老妈太穆皇后死得早，没能看到皇上打下天下，就唉声叹气地抹眼泪。皇上看了就不高兴。那些妃嫔们就说：“皇上您岁数大了，应该好好享受享受，可秦王这么哭丧着脸，分明就是嫉妒我们。等皇上您百年之后，我们母子几个，肯定得被他杀光。太子仁孝，您把我们托付给他，他肯定能保护我们。”皇上听了，心里头也难受。
皇上除了窦后生的四个儿子之外，还有十八个儿子呢，所以也就不想着换太子了，对李世民是越来越疏远，对李建成和李元吉是越来越亲近。有一次，李世民陪着皇上到李元吉家里去，李元吉就想埋伏刀斧手刺杀李世民。结果李建成一看尉迟敬德和秦叔宝在外面站着呢，就赶紧制止了。
那时候，突厥老是侵犯关中，皇上想迁都避一避。李世民就说：“戎狄侵犯，那是自古以来就有的事儿。皇上您龙兴天下，怎么能因为这点事儿就迁都呢？这不是让天下人笑话嘛？我作为藩王，愿意给您几年时间，一定把突厥的头头颉利给抓来，献到您的面前。”皇上说：“好！”结果李建成和那些妃嫔们一块儿说李世民的坏话，说：“突厥虽然老是侵犯边境，但是给他们点好处，他们就退了。秦王这是借着抵御外侮的名义，实际上是想掌握兵权，好篡夺皇位呢。”皇上大怒，把李世民叫来责备了一番。刚好这时候有官员来报，说突厥又打过来了，皇上这才改了脸色，勉励了一番，让李世民和李元吉带兵去幽州抵御。后来皇上那地方有盗贼，就老是派李世民去讨伐，结果打完之后，皇上对李世民的猜疑是越来越重了。
李世民和李元吉在幽州跟突厥的两个可汗颉利和突利碰上了。李元吉一看突厥兵强马壮，吓得腿都软了，不敢出战。李世民呢，一个人骑着马就冲到颉利面前，说：“咱们国家和你们和亲