可是杨广出生时，父亲杨坚已经成了隋国公，而且姐姐杨丽华成了太子妃，因此他面临的就是锦衣玉食。加之杨广本人聪明，精力充沛，因此自然而然地爱好广泛，他不仅文学好，在音律方面也是专家，如此有品位懂得享受的人，不可能回到杨坚清教徒似的生活轨道上去，他也喜欢享受，喜欢声色。
可是，杨广和杨勇不同，因为杨广有追求，他在杨坚夫妇面前能克制，或者说能装，在杨坚夫妇面前，他是孝顺的，是简朴的，是一夫一妻的。
可是，这样的装在杨坚生病时露了马脚。
公元604年4月，杨坚病重住在仁寿宫，太子杨广住大宝殿。杨坚身边服侍的三个大臣中，有和杨广关系密切的杨素。
因为杨广是通过废了太子杨勇而成为的太子，他一直做得小心翼翼，担心最后时刻会有变故，因此一直在和杨素通信了解杨坚的情况，结果被送信的人误送给了杨坚。也许信中表露了杨广对杨坚不敬的真实想法，让杨坚大怒，他立刻就要招杨勇回来。
