祭祀大典当天，兵部尚书齐泰跟朱允炆提议，要把朱高炽哥三个扣留起来，作为牵制燕王的人质。而黄子澄却认为，这样做会打草惊蛇，应该让他们回去，表示朝廷并没有削燕王藩位的意思，麻痹燕王。
朱允炆一时半会也拿不定主意，他认为，这样做有点不厚道，毕竟这个三个都是自己外甥呀。
一旁的魏国公徐辉祖想了一会说：臣看着这三个人长大，也十分了解这三个人的品行，眼下绝对不能放这三个人回去。这三个人可不仅仅是作为人质这么简单，主要是这三个人都比较有能力，如果放虎归山，会后患无穷。
这里特别要说一下，徐辉祖之前可是给朱元璋同志算过命的，朱元璋也是给他算命后才起兵的，虽然我是不太相信这个东西，但是这次徐辉祖也说对了。而历史上也有相关记载，所以就特别写了这一段。
