但是这位高僧却不这么认为，宋太宗的三个儿子退下之后，高僧对赵光义说：“皇上的长子和次子注定当不了这皇帝，倒是三子赵德昌（赵恒原名）面相很有福气，将来必定长寿”，高僧的言外之意便是说三子赵恒将来很有可能是皇位的继承人，赵光义当时自然是不信，他说：“吾之位，非惟吉不可替也”。惟吉是赵元佐的字，赵光义当时就已经认定赵元佐是将来的皇帝了，可是世事难料，也或许是赵光义坏事做太多，招来了报应。
赵光义护子心切，他害怕自己病危之后，四弟赵廷美和侄子赵德昭会来和儿子争夺皇位，所以他在公元984年就将四弟赵廷美一贬再贬，最后赵廷美被逼到自杀。而赵德昭早就在公元979年因为有谋反的意图被赵光义逼得上吊自杀，赵德昭的死对赵元佐的打击很大，从那时开始，他就对父皇开始不满，等到赵廷美被一贬再贬时，赵元佐大怒，在朝廷上和父皇争执，甚至破口大骂，赵廷美自杀后，赵元佐心里无法接受，一下子精神失常，见人就杀，后来还一把火烧了皇宫，气得赵光义将他贬为庶人。
赵元佐被废后，赵光义开始培养赵元僖，赵元僖虽然沉默寡言，在任时却从未出过错，让赵光义很是高兴，可是在公元992年，赵元僖上朝时突然晕倒，回家一天后就死了，赵光义大哭，没有办法，在公元995年，赵光义只好立三子赵恒为太子，两年后，赵光义驾崩，赵恒顺利当上皇帝，是为宋真宗，这一切竟然早就被一位僧人说中，不知写书人马后炮还是真有此事，早已经无法考证。
