第二次是在诸葛亮第四次北伐期间，李严主管后勤供应，因运输不便便让手下去劝诸葛亮撤兵，诸葛亮退兵后，李严又吃惊的说粮草充足，为什么撤兵，据说这次李严又留了白纸黑字的文件证据，如果说李严心怀不满，想趁此机会弹劾诸葛亮，则撤兵根本算不上什么重罪，诸葛亮统兵在外，临机决断，是绝对有撤兵权的，这等于是给自己找麻烦。
而史书记载，李严并没有弹劾诸葛亮，而是在给刘禅的表书上说诸葛亮此举可能是为了诱敌，根据史书的描述，李严在此次事件中的表现已经算是神经错乱了，此事之后，诸葛亮联名众人上表将李严彻底贬废。
抛开史书中所记载的李严的种种不合常理的行为，我们大概可以梳理出，在一开始二人并无太大矛盾的情况下，诸葛亮之所以步步紧逼，最终一定要废黜李严可以说是形势所需。
在刘备死后，蜀国的主力部队除了成都的卫戍部队，主要还有三处，镇守南中的一处，东面江州永安防备东吴的一处和北方汉中防备曹魏的一处，在执政的头几年，诸葛亮通过南征练手，开始统管军事，同时与东吴和好，减轻了防备东吴的压力。建兴四年，诸葛亮到汉中整军北伐，逐步掌握了蜀军主力，李严则从永安移至江州，以策应四方，这个安排其实是合理的。
