太平兴国七年，赵光义以赵廷美图谋不轨为由，剥夺了他的所有职权，先是贬斥到洛阳，随后又贬斥都房州监视居住，赵廷美受不了这个打击，没两年就病死了，这个结果对赵光义来说没什么，无非是掉两滴眼泪给外人看而已，但却让重情重义的赵元佐发了狂。
赵元佐因为叔父赵廷美的死患病，发病时喜欢用就用尖刀杀伤随身的侍者，让赵光义很头疼，只能遍请名医为他治病，经过一年多的治疗，赵光义以为赵元佐的病情好转，很高兴选定的皇位继承人没事了，不但大赦天下，还在皇宫中举办宴会庆祝。
因赵元佐病才好，赵光义为他的身体着想，没有在这次宴会上邀请赵元佐参与，结果赵元佐因此再发狂，一怒之下放火把举办宴会的宫殿给烧了，这下就彻底闹大了，用小刀伤侍者勉强算是私事，烧皇宫就是公事了，众目睽睽之下，赵光义也无法保他。
为此，赵元佐因罪被废为庶人，本来，在赵廷美已死的情况下，赵光义或许马上会立他为皇太子，可惜，他却因赵廷美的死发病，并失去了继承皇位的可能。在赵元佐被废掉十二年后，他的同母弟赵恒继位，是为宋真宗。
