后来刘备进至葭萌，准备回军南袭刘璋，于是任命霍峻镇守葭萌关。张鲁得知后，认为霍峻只是个小军官，跟刘备也没啥交情，而且手下也只有一千多人不敢抵抗，完全可以劝降，便派部将杨帛前去引诱霍峻，说要与其共同守城，意在企图夺取葭萌。霍峻有勇有谋，很快便识破了这一阴谋，对杨帛说了一句很著名的话："小人头可得，城不可得。"杨帛无奈，只得退去。可见霍峻确实是一个忠义之将，面对数十倍大于自己的张鲁军队，霍峻毫不畏惧，他的信仰就是人在城在，人亡城亡。
刘璋看刘备后方空虚，便派扶禁、向存等人率万余人沿阆水而上围攻葭萌，而霍峻还是率领一千名将士坚守，丝毫不畏惧强敌，最后刘璋的军队打了一年之久也未能攻下，而当时刘璋军队的数量是霍峻的几十倍，结果围了一年都没能攻下葭萌，当时霍峻城中士兵只剩几百人，乘敌人松懈懈怠之时，霍峻选挑精兵果断出击，大败敌军，并斩杀敌将向存。
刘备平定蜀地后，嘉奖表彰霍峻的功劳，于是分广汉郡新设梓潼郡，让他做了梓潼太守，裨将军，霍峻共在任三年，四十岁时就去世了，葬于成都。刘备对他的死很是哀悼和惋惜，于是下诏书对诸葛亮说:"霍峻既是一位优秀的大臣，也是一位出色的将领，加上有功于国家，我想亲自去祭奠他。"于是刘备亲自率领满朝文武百官前往吊唁，并且留宿墓地，当时人们都为他感到很光荣。
霍峻用他的行动向刘备证明了自己的忠心，就算敌军数倍于自己，依然不屈不挠，誓死守城。葭萌城是当时刘备在蜀中仅有的根据地，是刘备的大后方，如果进攻刘璋失败，刘备便可退守葭萌，刘备等于把自己的后路交给了霍峻，从某种角度来说，这其实是一种冒险行为。但是霍峻并没有令刘备失望，虽然霍峻手下只剩几百人，但他依旧凭借着极少的兵力，完成了一个几乎不可能的任务。正是因为有了霍峻的存在，帮刘备稳住了大后方，所以刘备才能顺利拿下四川。不过可惜的是，这样一位人物在历史上并没有太多痕迹。
