诸葛亮去世后，霍弋回到刘禅身边，担任黄门侍郎。延熙元年（238年），刘禅立刘璿为太子，他见霍弋老成持重，于是任命他为中庶子，让其教导太子。
不久后，被诸葛亮平定的南中地区再次发生叛乱，刘禅任命霍弋为永昌太守，负责镇压叛军。到了当地，霍弋诛杀豪帅，南中叛乱很快平定。之后，刘禅命霍弋率军数万人，统领南中六郡。
蜀汉灭亡之前，霍弋听闻成都遭到攻击，本想率兵支援。原本，刘禅只要稍微防守一下，等着霍弋的援军到达，邓艾的疲弱之师根本不足为惧。然而软弱的刘禅却选择了投降。
听说这个消息后，霍弋戴孝三日，号啕大哭。部下见刘禅、姜维都已投降，于是纷纷劝霍弋也赶紧投降。然而霍弋却拒绝了，他所统领的南中六郡仍打着汉室的旗号，拒不合作。为此，他向众人解释道：
