可惜的是，赵廷美还是心怀不满，仍然不死心，继续觊觎皇位。虽然他的家人都搬到了洛阳，但是他却私下里仍然被与兵部尚书卢多逊勾结，要知道，兵部尚书可是掌管国家军权的重臣，勾结他你想要干什么？谋反之意自然也就不言而喻。
毕竟纸是包不住火的，后来二人勾结之事被发现，赵廷美洛阳留守一职被罢免，削去了一切的官职，仅保留魏王的空名，闲居在家。
之后，宰相赵普认为赵廷美贬居洛阳有隐患，于是就让开封府尹李符上言说："廷美不悔过，怨望，乞徙远郡，以防他变。"于是宋太宗下诏把廷美降为涪陵县公，把他安置到房州。他的妻子楚国夫人张氏，也被削除封赏。
雍熙元年，赵廷美到达房州，由于抑郁成疾吐血而亡，年仅三十八岁。太宗听到后，痛哭流涕，对宰相说："廷美自幼刚愎，长大后更加严重。朕和他同为兄弟，不忍将他置之于法，让他迁到房陵，是希望他能够思过悔改。正念及旧恩打算对他进行赏赐，却不想他已经死去了。"宋太宗为他悲泣很久，感动了身边的人，于是他又下诏追封廷美为涪王，谥号为悼。
虽然古代帝王一直有兄终弟及的传统，但是赵廷美不应该把继承皇位看成是自己理所应当的事情，更不应该密谋篡权，他这样做怎么可能让宋太宗放心？即便太宗隐瞒了"金匮之盟"的内容，赵廷美也不能暗地勾结大臣谋反啊，谋害自己亲哥哥，这可是大逆不孝的举动。
总的来说，太宗对赵廷美已经算是仁至义尽了，像这样怀有悖逆之心的弟弟，没有降罪责罚他已经很宽恕了，怎么可能会让他继承大统呢？
