杨坚对这件事深以为憾。直到称帝后，杨坚仍然念念不忘，有一次，他问荣建绪："当初朕让你留下来，你却毅然决然地走了，现在后悔吗？"
换做一般大臣，肯定会向杨坚赔礼道歉，并表示自己肠子都悔青了。可荣建绪却一脸正气，说了9个字："臣境非徐广，情类杨彪。"
徐广是东晋大臣，刘裕篡晋后，徐广泪流满面，悲不自胜。杨彪是东汉老臣，曹丕代汉后，他拒绝入仕魏朝，闭门不出，始终自称汉臣。荣建绪的意思是说，我虽然和徐广的处境不同，但我的心情和杨彪一样。
心情和杨彪一样，那就是怀念北周，甚至不认同隋朝，这岂非严重触犯杨坚的忌讳？那么，杨坚是如何处置荣建绪的呢？
很遗憾，杨坚压根不知道徐广和杨彪的典故。不过，杨坚是何等聪明的人，虽然不知道徐广和杨彪的典故，但他还是猜出了荣建绪的想法。他于是对荣建绪说："朕虽不晓书语，亦知卿此言不逊。"意思是说，我虽然文化水平没那么高，但也知道你说的不是好话。
