诸葛亮去世后，刘禅又将霍弋召回，任命他为中庶子，成为太子刘璿的近侍。直到此时，我们仍然可以看到刘禅对于霍弋的态度是比较友好的，把自己的儿子都交给霍弋来辅导。不过随着永昌郡动乱，霍弋便被调离了成都，负责打击叛军。由于之前参与过北伐，霍弋军事能力得到了充分的锻炼，一出马就轻松的击败了叛军，平定了永昌。而自此以后霍弋便被留下了，负责镇守南中，在霍弋当任期间，抚和异俗，百姓安乐。
景耀六年（公元263年），魏国分三路大军攻打蜀汉，作为优秀的军事人才，霍弋首先就察觉了事情的不对劲。往日魏蜀两国交战，大多都是小打小闹，此次魏国主动发兵，军队众多，一看就是想一战灭蜀，所以他连忙上书刘禅，请求前往成都协助防守。但刘禅以战略已定为由，拒绝了霍弋的建议。最终邓艾出奇兵杀入蜀汉腹地，诸葛瞻抵挡不住，战败身死。而刘禅也选择了出城投降，蜀汉宣告灭亡。
从刘禅和霍弋的关系来看，他们很早就认识，两人直接的关系还是不错的。他之所以不愿意让霍弋前来，主要是因为下面三个原因。
