有年冬至，朝廷百官按照制度惯例到东宫晋见皇太子，恭贺新节。杨勇张灯结彩，举行礼乐仪式，接受百官祝福。文帝对这一礼节心知肚明，往年也都没说什么，这年却在朝会上明知故问："近闻至节，内外百官相率朝东宫，是何礼也？"（前几天冬至听说你们集体去朝见太子，这是什么礼数？）
文帝此言，明显是责备大臣只知太子不知天子。群臣面面相觑，一时之间无人敢回话。只有主管礼制祭祀事务的太常寺副长官太常少卿辛亶回道，"于东宫是贺，不得言朝"，陛下此言差矣，臣等去东宫是恭贺新节，不是朝见集会。听闻此语，文帝当即发怒，"改节称贺，正可三数十人，逐情各去，何因有司征召，一朝普集，太子法服设乐以待之？东宫如此，殊乖礼制"，如果是道贺，三五成群去即可，你们却是统一组织，集体动作；皇太子还在那穿着朝服接待，这不是朝见是什么？东宫如此行事，不但违背礼法，更是没把朝廷规矩放在眼里。
就在这次朝会上，文帝下诏，禁止百官冬至再赴东宫朝贺，"事非典则，宜悉停断"。杨勇"自是恩宠始衰"，由此逐步失去圣眷恩宠父爱眷顾。文帝对其"渐生猜阻"，开始采取措施剪除太子羽翼，首当其冲的就是杨勇掌握的东宫卫队。
文帝以整顿京城禁卫军为名，下令将东宫卫队中的精锐悉数调往皇宫卫队。开国元勋、杨勇的保护人宰相高颎劝文帝：精锐全被调走的话，那东宫防卫力量就太薄弱，谁来保护皇太子的安全？文帝当即"作色"，说自己经常出宫巡视，没有高手警卫保护，怎么能行！"太子毓德春宫，左右何须壮士"，太子在东宫修身养性即可，要什么勇士保卫！文帝直截了当地告诉高颎：太子东宫保留强大卫队，"此极弊法"，本身就是不合规矩的弊政，必须改革。既然你觉得太子人身安全重要，那就从朕的皇宫警卫中抽调人马去保护太子。以后无论是皇宫禁卫，还是东宫卫队，都统一指挥，统一调度。这样，文帝就顺势剥夺了太子的军权。不但如此，文帝还借此敲打高颎:你之所以如此替太子出头，还不是因为你俩是儿女亲家，你家儿子娶了太子女儿。朕圣明烛照，什么都看得透透的，你不要走前代权相走过的结党乱政歪路。
文帝对长子杨勇的态度，给二子晋王杨广提供了机会。杨广其人，"美姿仪，性敏慧，沈深严重"，行事聪明，反应敏捷，性情稳重。"好学，善属文"，喜欢读书，写得一手好文章。"敬接朝士，礼极卑屈"，和朝臣来往恭敬谦卑，非常擅长打造良好形象，营造声名舆论，"由是声名籍甚，冠于诸王"，成为太子最强有力的挑战者。杨广还取得了当时文帝独孤最宠幸的大臣、朝中排名仅次于高熲的杨素之支持。杨广要夺嫡，杨素要取高熲而代之夺取宰相之位进而专擅朝政，二人一拍即合。
