刘备平定蜀地后，论功行赏，将困守孤城的霍峻提拔为梓潼太守、裨将军，与张飞一起防守蜀地的北大门。公元217年，霍峻不幸去世，刘备哀伤不已，亲往祭奠，并说：
"峻既佳士，加有功於国，欲行酹。"
霍峻死后，刘备甚至因为怀念，在他的坟墓周围住了一夜夜。由此可见，刘备对他的去世有多么痛惜。为了嘉奖霍峻的忠诚，刘备将他的儿子霍弋提升为太子舍人，命他侍奉太子刘禅。在汉代，太子舍人主要掌管东宫宿卫。可以说，霍弋就是刘禅的贴身保镖。刘备希望霍弋能用生命保护自己儿子的周全。
经过长期相处，霍弋一直与刘禅新影不离，乃是后主最信任的臣子。刘禅登基后，霍弋被任命为霍弋为谒者，伴随刘禅左右掌管传达等事，可谓是天子近臣。诸葛亮北伐时，曾将霍弋任命为记室，让他在兵营中巡行，负责纠举作奸犯科之事。
