原来，李世民当面任命卢祖尚为交州刺史时，卢祖尚没有多想，头脑发热就答应了。回到家后，越想越不对劲。交州不仅离长安几千里，蛮人本就不好管理，再加上多有瘴气，卢祖尚担心自己有去无回。所以赶紧上奏，谎称自己突然生病，无法赴任，请求辞职。
李世民接到奏折后，气不打一处来，火冒三丈，怒道：
"匹夫犹敦然诺，柰何既许朕而复悔之！"
意思是：普通人还知道一诺千金，你作为朝廷大臣，既然答应了这个差事，岂能出尔反尔？
李世民派杜如晦前去劝说，杜如晦到了卢祖尚的家中，好说歹说，劝他不能言而无信，况且在天子面前答应的事情若是反悔，置天家威严于何地？要是惹怒了天子，治你个欺君之罪，可不是闹着玩的。
