这几件事，李严的私心越来越严重，要权要势力。诸葛亮基本包涵他的过错，尽量纠正他的过激行为，主要是为蜀汉珍惜人才。的确在仅余一益州的情况下，蜀汉的人才短缺这个瓶颈，一直限制其后续的发展。如李严这样的人才，虽然性格缺陷明显，但水平政绩摆在台面上都是一流的。诸葛亮还是很看重这个人的。
4、不归路
不过李严一直没理解诸葛亮的苦心，变本加厉，越来越出格。二年后诸葛亮第四次北伐，李严负责运送粮草，碰上阴雨不断，他怕误了事，派人去请诸葛亮回师。粮草从来是诸葛亮北伐的短板，孔明就撤军回来。李严假惊讶道："粮草充足啊，怎么回师呢？"又自己给皇帝刘禅上表，说军队撤回来是为了诱敌深入，还想杀了运粮的下级推卸责任。诸葛亮把李严前后书信全摆出来，这下李严没话说，词穷理尽，承认错误。于是诸葛亮等人上表刘禅，将李严撤职，剥夺爵位，以一介平民的身份发配到边远的梓潼郡。
李严的儿子李丰工作能力也很强。诸葛亮把他提拔为中郎将、参军。给他写信说：我和你们父子同心协力为兴复汉室努力。以都护（李严）总督汉中，以你负责江州。本以为一定能上下一心，料不着变生中途，真让人痛心。过去的事情没得后悔了，一定要引以为戒，明白我的良苦用心！
