位于杜水之阳，东障童山、西临凤凰，南有石臼、北依碧城，天台山突兀川中，石骨棱棱，松柏满布，三伏天气便如仲春，实为消夏佳境。
文帝杨坚大喜，还至长安，诏命在麟游镇头营造避暑离宫。命右仆射越国公杨素为督造总监，前莱州刺史宇文恺为将作大匠，记室参军封德彝为土木监，崔善为为督工。
杨素奉命，督调数万人役，东起庙沟口，西至北马坊河东岸，北至碧城山腰，南临杜水北岸，就此大兴土木，开始营造避暑离宫。
于是平山填谷，构筑宫殿，高台累榭，宛转相连。内城以天台山为中心，城垣周长一千八百步。冠山抗殿，绝壑为池，分岩竦阙，跨水架楹。杜水南岸高筑土阶，阶上建阁，阁北筑廊直至杜水，更于水上架桥，直通宫内。天台山极顶修建大殿，阔五间，深三间；殿前有南北长廊，人字拱顶，迤延宛转。大殿前端有两阙，比例和谐。天台山东南角又建大殿，东西走向，四周有殿宇群阁拱卫，称为九成之宫，各以大宝殿、丹霄殿、咸亨殿、御容殿、排云殿、梳妆楼等为名。屏山之下，复聚杜水成湖，称为西海。只因宫殿位处碧城山顶，山上水源困乏，遂从北马坊河谷以轮汲水上山，列水磨以供宫内。宫城内由西向东，更筑有地下水道，以规则石料衬砌，直通城外。更有外城，延展数十里之广。
避暑离宫营造之役，自开皇十三年二月开始施工，至开皇十五年四月方告竣工。
杨素监修离宫，便如平时用兵打仗，督工极为严酷，不分春夏秋冬，更是夜以继日。
由是民夫疲顿颠仆，辗转哀苦，死亡万人以上。杨素不准下葬掩埋，命将民工尸体皆都推入深坑，盖土筑为平地。秦始皇修建长城之时，亦未见得如此严酷。
工程告竣，报予朝廷，隋文帝杨坚派大臣前往视察。
大臣验工后返京回奏：其宫豪奢，颇伤绮丽，大损人丁。
杨坚闻奏大怒，下诏斥责杨素道：因你急功近利，却为朕结怨天下！
杨素闻而大惧，惶恐不安，将天子责诏示于土木监封德彝，向其求计。
封德彝笑道：越国公何必如此？天子虽然见责，但皇后必有恩诏。
其后未几，果然独孤皇后召见杨素，当面慰劳：卿知我夫妇