赵廷美忧郁成疾病逝之后，赵元佐也在悲愤当中因病发狂，他的精神有些不正常，非常容易激动，侍者就因为犯了一点点小错，他就用尖刀将其给杀死，到最后甚至没人敢去照顾他，身为父亲的赵光义内心十分着急，立马寻求天下名医来救治，可心病难医，治了一年多也没有好转，只是时间久了，赵元佐没有那么暴躁了。但是到了第二年的重阳节，因一件小事直接毁了赵元佐。
当时趁着重阳节，赵光义叫上儿子们聚在一起吃饭，但因为赵元佐容易发疯就没叫他，一家人吃得很是开心，吃完饭后，宋太宗的二儿子故意跑到赵元佐那说起当晚的宴会，说有多高兴，说者无意听者有心，赵元佐知道赵光义吃饭没请自己，怒气攻心，又勃然大怒，直接把自己的东宫给烧了，这场大火差点把整个皇宫给烧没了，还好火救得及时，第二天赵光义派人去查失火的原因，赵元佐直接站出来了，对赵光义说：不用查了，火就是我故意放的。
赵光义脾气再好也忍不住了，当场气得差点杀了赵元佐，最终将他贬为庶民，从此以后赵元佐去掉昔日的光芒，他甘愿平凡，隐没在均州之中，赵光义去世，赵恒登基，也就是宋真宗，宋真宗念及兄弟之情封他左金吾卫上将，并恢复爵位，但赵元佐从不上朝，宋真宗也没有怪罪他，赵元佐虽然隐世，却活到了宋仁宗时期，直到公元1027年才去世，享年62岁，他原本前途无量，却甘愿自毁前程，因为他心中有"义"，这正是他父皇缺的。
