他有一个特别宠幸的夫人，人长得非常的漂亮，杨广垂涎于她的美貌，在一次他想要对陈夫人无礼，但是被陈夫人给逃脱了。陈夫人逃到了隋文帝的榻前，文帝知道了以后大骂杨广。随即想召杨勇进宫，他想要重新立杨勇为太子。但是杨广便假传圣旨，将张衡召进了宫中。张衡进宫服侍皇帝，没多久就宣布文帝已经驾崩了。一时间朝廷上下都在议论，说是张衡杀死了文帝。但是对于张衡是怎么杀死皇帝的，书上的记载却是有比较大的出入。有的记载的是，他是以毒害死文帝，有的记载是他直接用剑刺死了文帝。
都说，杨广是为了调戏陈夫人不成，杀了文帝，但是我们从书上的记载来看，这个真实性并不是很高。在皇帝病重之前，杨广就与陈夫人打过几次交道，而且他经常会送陈夫人一些贵重物品。而送这些东西的目的自然是让陈夫人在文帝的面前，可以替他说说好话。而且从史书的记载上来看，陈氏与杨广之间是有过政治合作关系的。你在文帝病危的时候，杨广是合法的继承人，而陈氏也不可能在这个时候得罪杨广。所以说这个可能性并不真实。
第二个说法，文帝只是单单生病而死的。持这一种观点的学者对好几本历史书籍做了研究，发现了很多常识性的错误。其中有一本，就将发丧的日子记成18日，而真正的发丧日子应该为21日。而且张衡用毒药杀死文帝这一点，没有任何一本书能够提供证据。还有一点的是杨素是杨广的人，这一点文帝不可能不知道，又怎么可能让他去召杨勇呢？基于这种种疑点，说明他并不是被杀的。
但是文帝之死到底为何，至今也不得而知。毕竟，一个朝代的历史是由胜利者所写。唐朝对于隋朝皇帝的憎恨是非常之大的，所以其中难免有曲解的地方，这也就对后世的研究造成了很大的阻碍。
