所以回来就跟隋文帝报告说这个宫殿："颇伤绮丽，大损人丁。"
建得好是好，好过头了，我们损失了好多钱，损失了好多老百姓。隋文帝当时也是一个节俭型的好皇帝啊，所以一听心里也是咯噔一下，对这个杨素包括对这个仁寿宫就有一种先入为主的坏印象。高熲视察过之后半个月隋文帝终于抽出工夫自己也去了，结果更坏了。
因为他沿途一路就听说杨素为了赶工期把好多民夫都给累死了，这些人之中有些人后来填了山谷了，后来山谷填满了不需要人再填之后杨素居然就把他们给焚尸了，这是多么残酷的事情啊。所以隋文帝很生气，一到仁寿宫都没怎么看就怒气冲冲的说了一句："杨素竭百姓之力，雕饰离宫，为吾结怨于天下。"
意思就是，杨素把这个宫殿弄得这么豪华，把民力都给耗竭了，这是让天下人都怨恨我啊，很不高兴。
那么这话传到杨素耳朵里杨素吓坏了，本来是竭尽全力想讨好皇帝，没想到拍马匹拍到马腿上去了。杨素有点心慌了，这个时候封德彝杨素的侄女婿就给他支招来了。封德彝是杨素的侄女婿，也是仁寿宫的监工，同时还是唐朝初年一个重臣一个宰相。
