当然霍峻也没有让刘备失望，在刘备出发后不久，张鲁就来劝霍峻投降，还说了不少刘备的坏话，可是霍峻不为所动，还说了句流传千古的名言："小人头可得，城不可得！"，后来扶禁、向存有带领数万人将霍峻所在的城池给围困了，足足一年的时间，对方也没有攻下，而最后霍峻带着仅剩的数百人反击，取得了胜利，还成功将敌方大将向存给斩杀，自此之后霍峻的大名威震三国。
天妒英才，这样一位忠勇的大将，却在四十岁的时候就去世了。父亲死了还有儿子，他的儿子霍戈后来也成为了蜀汉的一员猛将。霍戈与刘禅自小一起长大，在刘禅登基后，他为刘禅提出了很多有建设性的意见，还被封为永昌太守，管辖南中各郡，他负责的区域是蜀汉的西南。永昌在霍戈的管治之下，特别宁静祥和，经济也有了很大提升，他也因此被封为安南将军。
曹魏的邓艾钟会带兵征讨蜀国的时候，霍戈还主动提出要带兵抵抗魏军，只可惜那时的刘禅早就做好了投降的打算，因此对霍戈敷衍了事，说自己早就有所准备，他只管负责守好后方就行了。蜀国灭亡之后，霍戈本想反抗到底，但当他得知刘禅在洛阳过得还不错时，就放弃了抵抗，带领自己的手下归降了晋朝。
