李严自视甚高，同级的辅匡护军将军，地位相等，岁差不多，李严也不去主动与他来往。虽是蜀国早期支柱之一，并且深入刘备喜爱。但一朝天子，一朝臣，刘禅继位后，很不喜欢李严。刘禅只信任"恩师"诸葛亮，把权力都交给他手上。
眼看大权旁落，李严竟然以任性的方式与诸葛亮对立。建兴四年，他拒绝诸葛亮要求他镇守汉中的部署，并企图分割五州为巴郡，自己裂土而治。建兴八年，以司马懿招降为要挟，换取他与儿子的升迁，才同意率兵出汉中，配合诸葛亮的军事行动。
建兴九年，李严做出了一个作死的举动，负责粮草督办的他，突然给诸葛亮去信，声称遇到大雨交通阻断，粮草无法运达，请求罢兵。诸葛亮在粮草断绝的情况下，迫不得已半途而废。没想到，李严一见到诸葛亮，装作大吃一惊的样子说："我已经给你准备好了粮草，你怎么撤军了？"
为了掩盖自己筹备粮草不力的事实，他又上疏刘禅，声称撤军是诱敌深入之计。如此小儿科的把戏，诸葛亮自然一眼识破。他忍无可忍之下，开始亮剑了，上表刘禅，将李严贬为庶民，流放梓潼。
