有一次，忽必烈心血来潮，想把赵宋宗室以及江南大姓显族都迁徙到北方来，以消除隐患。
叶李劝阻说:"宋已归命，其民安于田里。今无故闻徙，必将疑惧，万一有奸人乘釁，非国之利也。"由之，忽必烈打消了这个念头。
叶李与当时的权臣尚书右丞相桑哥关系非同一般，桑哥罢相被杀（桑哥吐蕃噶洛部落人，通晓蒙古、汉、畏兀儿、藏等多种语言，善理财，而得到忽必烈重用。得势当权后，卖官鬻爵，接受贿赂，劣迹昭彰，专横跋扈，引起众多官僚贵族的强烈不满，大家先后举报桑哥的不法行为，忽必烈下令逮捕下狱后处死），牵扯了许多人，叶李知进退，以年老多病为由请求南归被打准。
当时扬州儒学正李淦上书检举叶李的罪行，"宜斩叶李，以谢天下。"
所列举的罪状大多夸大其辞，忽必烈看了说:"叶李廉介刚直，朕所素知者，宁有是耶！"看来，忽必烈对叶李是十分了解的，这其中许多罪状都是桑哥所为。
