永乐初期，明成祖朱棣曾要求姚广孝蓄发还俗，但却被姚广孝一口给拒绝了，后来明成祖又赐他府邸、宫女，但姚广孝仍然不肯接受，只居住于寺庙之中，上朝时便穿上朝服，退朝回来后又换回僧衣，打坐念经。除此之外，当姚广孝奉命到苏湖赈灾时，他还亲自前往家乡长洲，将赏赐给自己的黄金全部分发给宗族乡人，但自己曾经的所作所为却还是令身边的亲朋好友所不齿，尤其是他的亲姐姐，不仅严词责骂自己，还经常是闭门不见，让姚广孝难堪无比。
由于朱棣好战，大部分时间都是用于战争，所以姚广孝便尽心辅佐太子朱高炽监国，后又奉命教导皇太孙朱瞻基，为后来的明朝又培养出了两个优秀的皇帝。1418年，姚广孝病逝于庆寿寺，享年83岁，并配享明太宗庙庭，而以文臣位列功臣配享者中又仅有姚广孝一人，由此可见，姚广孝在明初时的确具有特殊地位。
