然而，成为托孤大臣后，李严迅速蜕变，从精明强干变得拖泥带水，并且欲望也迅速地膨胀。他先是怂恿诸葛亮进爵称王，以便自己也趁机加官进爵，但被诸葛亮加以驳斥，两人就此闹掰。随后，诸葛亮调他去汉中增援，他却乘机要挟，要划分五个郡成立巴州，诸葛亮没有同意，但为了平衡李严，上表迁李严为骠骑将军，又表其子李丰接替督主江州防务，李严这才愿意北上汉中。但其内心一直愤愤不平，改名为李平。
公元231年，诸葛亮第四次北伐，李严负责督运粮草，上邽之战大破司马懿，形势一片大好。然而，在此关键时刻，李严掉链子了，不仅粮草运不上来，而且还假传旨意让诸葛亮退兵。诸葛亮被迫撤军，前功尽弃，功亏一篑。而李严在刘禅面前，还却装作一脸懵逼地问粮草充足，为何诸葛亮要撤军呢？最后，诸葛亮和李严闹到刘禅面前，诸葛亮将李严前后文书拿出来对证，李严自相矛盾，被刘禅一撸到底，废李严为民，流放梓潼郡。
同为托孤重臣，李严之所以斗不过诸葛亮，究其原因主要有以下三点：一是李严自己作死，在北伐大事面前，玩忽职守，假传圣旨，不仅欺君，而且导致北伐大业失败，罪有应得，惹了众怒，成为大反派，只能被诸葛亮吊打。二是诸葛亮势力大，同为托孤重臣的李严是无法与其比拟的。在刘备去世后，刘禅年幼，诸葛亮成为相父，一手组建了蜀汉了领导班子，基本都是自己的人。而李严虽为中都护，统管内外军事，但他并非是掌管蜀汉的全部军事力量，也就相当于蜀汉的东部前军总司令，并且随着诸葛亮掌权后，他的军权进一步被削弱，自身力量并不强大，比诸葛亮差远了。
