按照史书的记载这个仁寿宫是"夷山堙谷，以立宫殿，崇台累榭，宛转相属"。
在山里修一个行宫，为了扩大这片平地把这个宫殿修得壮丽一点，他遇到山就把山削平，遇到山谷就把山谷填平，一定要填出一大块平地来，然后在这块平地之上再建这个崇台累榭，就是庭台楼阁一座接一座，而且都连在一块儿形成一个大的宫殿建筑群。那工程量这么大当然就需要耗费很多的钱财了，其实这远远超过预算了，这是奢侈。
光奢侈也罢了，杨素他还暴虐。杨素用战场上派敢死队冲锋这套对待那些服劳役的民夫。
那这些民夫就在杨素的严厉监督之下昼夜赶工，稍微体力不支马上杨素就把他们视为无用之人了。在山里建行宫不是要填平好多山谷创造出更多的平地，就拿这些没用的人去填。把已经死的人扔下去，把快死的人也踢下去。然后在上面再铺上土石就打成地基了。就在这种残酷的劳役之下两年之下累死的民夫就多达一万多人。
到开皇十五年3月仁寿宫终于修好了，隋文帝让首席宰相高熲去验收去了。高熲是和隋文帝一块儿开创那个节俭型政府的人，所以在价值观上和杨素很不一样，他一到那儿看仁寿宫如此豪华马上就开始心疼国库，也心疼百姓了。
