王振本是一位落第秀才，熟读诗书，只可惜科举之路太过艰难，他自愿入宫成为太监。因为他为人聪慧，被明宣宗安排在太子朱祁镇身边，后来朱祁镇登基，王振便仗着朱祁镇的信任，权势日益扩大。王振放眼朝堂之上，能够制衡自己的人只有"三杨"，因此，他屡次向明英宗建议，说三杨年迈，应该早点回乡致仕。三杨对王振也是恨之入骨，无奈王振有明英宗庇护，内阁大臣们也束手无策。
《智囊全集》记载了这样一个故事，有一天，王振为了劝"三杨"退休，亲自来到内阁，对杨士奇、杨荣和杨溥等内阁成员说：
"朝廷事亏三杨先生，然三公亦高年倦勤矣。其后当如何？"（《智囊全集》）
王振的话，表面上的意思是说：三位杨先生对朝廷鞠躬尽瘁，但你们年纪大了，不知道你们有没有考虑过自己的未来呢？
