和这位长孙小姐就成了无依无靠之人了。那位说：“长孙炽他不管吗？他作为伯父的，在那年代，弟弟死了，他应该担负起照顾侄儿侄女的责任吧？”长孙炽倒是想照顾，但他身体也不好。他弟弟长孙晟是大业五年去世的。没过一年，长孙炽也死了，大业六年死的。这么一来，长孙家两位掌门没了，这个家族损失很大，可以说家族就家道中落了。孤儿寡母怎么办？
高夫人的哥哥高士廉一看太可怜了，这么着吧。既然我妹丈没了，我呀，把我妹妹接回家吧！接回娘家，我替我妹妹养活这一对儿女。所谓爹亲叔大，娘亲舅大呀。
就这么着，高士廉就把自己妹妹连同这一双儿女全接到自己家中。让他们读书，给他们创造学习条件。给他们吃、给他们穿，就把这对儿女给养起来了。这一晃几年过去了。
在此期间，高士廉带着长孙无忌、带着长孙姑娘也到了并州太原城去见李渊。怎么呢？因为高士廉知道啊，自己妹丈已然把自己这个外甥女儿许配给李世民了。高士廉那跟李渊关系也不错。因为高士廉可是渤海着名的衣冠右姓啊，高士廉也素有才望、颇涉文史。所以，李渊也很敬重高士廉，又是亲家。高士廉带着长孙无忌、长孙姑娘来到太原。高士廉的意思——我摸一摸这李世民的底儿。
到这里，没想到，长孙无忌跟李世民两个人岁数差不多。而且，长孙无忌这个人好学，博通文史，跟少年李世民一接触，立刻就成了好朋友了。李世民跟他大哥李建成关系一般。因为李建成大李世民将近十岁，两者之间有点代沟。他跟长孙无忌是同龄人。所以，长孙无忌跟李世民就成铁哥们了。
通过考察，高士廉见李世民这个人确实非常人可比，这孩子那不是一般的孩子呀，三岁就能看老，何况李世民十来岁了，这孩子未来必成大器呀！那我这个外甥女婿可不能放跑了呀。长孙家算家道中落了，能够攀上李氏也是给我这外甥、外甥女儿找了一座靠山啊。所以，高士廉一看长孙氏服丧期满，三年过去了，白事完了，赶紧地咱办红事吧，现在这孩子也已然不小了——长孙氏十三了，李世民十六了。长孙姑娘那长到豆蔻年华了，在当时该出嫁了。所以，高士廉又带着长孙无忌和长孙氏来到并州要见李渊，想促成这桩婚事。
结果，到了并州