当时蜀汉与东吴和好，这时候诸葛亮就用自己的计谋消弱了李严管辖的军队。诸葛亮发动了南中战争，攻打南中肯定不能调遣汉中的部队，于是永安的军队就被调走了，这样一来李严的军队就少了。南中之战后，李严彻底成为了一个后勤部长。
到了诸葛亮北伐时期，李严负责的不是军事，而是后勤。诸葛亮北伐时期，李严就已经负责调动粮草了，这时候的李严已经失去了军事大权。为了夺回军事大权，李严诬陷了诸葛亮想要谋反，他告诉刘禅，将诸葛亮调回，看看诸葛亮是不是终于蜀汉。
可是诸葛亮回来之后，李严的计谋不攻自破。当时刘备驾崩，他将军事大权托孤给李严，为的就是能够让真正懂得军事的人接管蜀汉的军事。军事是诸葛亮的弱点，在这方面他不如李严，可是李严在内政方面很差，斗不过诸葛亮。
结果导致了李严的大权旁落。诸葛亮虽然是打击了李严，但是他没有做什么过分的事，只是为了蜀汉的大业，发动了北伐，结果诸葛亮因为操劳过度，病逝在了五丈原，仅仅54岁的年龄。
