年迈，无以自乐，故盛饰此宫，岂非忠孝。自古帝王之法，便有离宫别馆先例。今天下太平，卿造此宫，何足损费！
杨坚听罢皇后之语，果然转怒为喜，遂又大赞杨素，更赐钱百万，锦绢三千段。
杨素得此重赐，深感封德彝先见之明，并请天子为离宫赐名。
文帝说道：古语云，尧舜行德，而民长寿。可取其美意，命为仁寿宫。
众臣闻之，皆都称赞。开皇十五年夏，文帝诏命前往仁寿宫避暑，又命杨素监修驰道，役夫暴于烈日之下劳作，死者相次于途。
杨素依如前例，下令聚尸成堆，浇油焚之。杨坚在仁寿宫中扶栏远望，见宫阙之间磷火弥漫，隐有哭声四起。因不知是何缘故，于是派人前往察看。
使者回报：皆因尸骨有暴露于外者，便成鬼火。所谓哭声，乃是已死役夫鬼魂作祟。
杨坚惊悸，遂派人酾酒祭奠。
当夜杨素值宿偏殿，梦一白须白发老者直入寝卧，当面斥道：我乃鬼谷门兵家派主，王敖祖师是也。你枉居我派掌门之位，害民如此，得无愧乎？
说罢凌空一指，点中杨素额头印堂大穴，隐而不见。
杨素惊醒，便觉头痛欲裂，由此得疾不愈，时而复发。
皇后独孤氏善妒，严禁杨坚与其他女人接近。
隋文帝在仁寿宫避暑期间，看上一位宫女，退朝之后就便临幸，爱如珍宝。未料其内侍之中，半为独孤氏耳目，立将此事报于皇后知道。
皇后大怒，暗命杀死宫女，其后故作不知。
隋文帝遍寻宫女不得，知是被皇后害死，一怒之下单骑飞奔出宫，不问路径，直入山谷之间。众臣闻说皇帝离家出走，皆都大慌，沿山路追寻二十余里，才将皇帝找到。
高熲、杨素极力劝解，隋文帝叹道：朕贵为天子，却不如卿等三妻四妾，更得自由！
毕竟惦念万里江山，天子之位，只得调转马头，回到离宫。
独孤皇后主动谢罪，夫妇间和好如初。仁寿宫虽然美仑美奂，但杨坚因恶其磷火鬼哭，此后便很少来此。又更因勤于政务，无暇顾及。
开皇十四年，朝鲜半岛百济、新罗、高句丽三国相继遣使来至长安朝贡，请为附