刘备本来的设想也是这样，诸葛亮作为丞相主持大局，李严虽然名义上为托孤大臣，但是他留守永安，在政治上的影响力比较微弱。这应该是刘备的意思。但是李严对这种安排不太满意，毕竟相对于刘备时期，他的权重反而有所下降。于是李严开始与诸葛亮争权，诸葛亮也设法遏制李严。双方的斗争虽然不太激烈，但是在很多事情上存在迹象。
最后还是诸葛亮获取胜利。诸葛亮以北伐战争的需要，将李严先后从永安调离到江州、汉中，进入自己的丞相府。而后在第四次北伐中，由于李严没有做好运输粮草的工作，并且有推卸责任的举动，诸葛亮将其废黜为平民。尽管是这样，李严没有性命之忧，他的儿子李丰仍然可以做官，虽然也受到遏制，但与曹爽、诸葛恪等人相比是非常幸运的。
