公元230（建兴八年），曹魏大司马曹真准备三路进逼汉中，为加强汉中防御，诸葛亮要求李严带兵前来汉中。为了安抚李严，诸葛亮上表迁李严为骠骑将军，又表其子李丰接替督主江州。公元231（建兴九年）春，诸葛亮出兵祁山，这是诸葛亮第四次北伐中原。在这张禅意中，李平负责督运粮草。夏秋之季，正逢阴雨连绵，粮草运输供应不上，李严派参军狐忠、督军成藩传话给诸葛亮，让他撤军，诸葛亮得到信后答应退兵。但是，让诸葛亮想不到的是，等到自己真的撤军之后，李严反而在后主刘禅面前诬陷，意图推脱自己自己督办粮草不力的责任，显出诸葛亮延误战机的错误。
对于李严的这一行为，诸葛亮自然是非常愤怒。于是，诸葛亮联合蜀国的文臣武将，一起上奏后主刘禅，从而将李严废为平民，并流放梓潼郡。换而言之，如果得不到朝廷的允许，李严只能留在梓潼郡，而不能回到蜀国都城成都。公元234（建兴十二年），蜀国丞相诸葛亮病逝于五丈原。值得注意的是，李严听说诸葛亮去世，于是发病而死。在不少历史学者看来，这是因为李严生前经常盼望诸葛亮会再次起用他，考虑除诸葛亮之外，其它的大臣不可能再用他，故此激愤发病。在李严去世后，李严之子李丰官至朱提太守。
总的来说，李严作为蜀国的托孤大臣，完全可以长期在朝廷身居高位。比如在被流放之前，李严已经官至骠骑将军了，这是仅次于大将军的武将官职了。但是，李严依然不能满足，也即还想要和诸葛亮争夺大权，从而阻挠诸葛亮北伐中原，最终可谓失去了一切。当然，考虑到李严对于蜀汉的贡献，诸葛亮也没有对李严赶尽杀绝，只是将其流放，这无疑是网开一面了。
杨仪
