公元208年，刘表病逝，他就带着这支霍家军投了刘备，而刚开始的时候刘备见他就带了这么几个人，也没有很重视他，只是封了他为中郎将，统领本部人马。公元213年，他随军一起进入了西川。但是刘备心怀鬼胎，说是要结盟，其实是想趁机夺取对方的地盘，所以很快就和刘璋闹掰了，荆州军驻扎在葭萌关后就不走了，然后掉头就去攻击刘璋的军队。
为了防止后方被偷袭，刘备决定让霍峻留守，这本无可厚非，葭萌关作为大后方，自然需要大将镇守，可奇怪的是他只让霍峻带着自己的部曲留守，也就是那区区八百多人的霍家军，这么一座重要的城池，刘备只留下数百人和一个当时还未成名的武将，看来他对击败刘璋是很有信心的。霍峻接到军令后也没有请求更多的兵马，只是带上自己的部曲就去守城了。
刘备一走，就有人按捺不住了，首先是张鲁，他见葭萌关上只有几百个民兵，于是就派出军队想来夺取，他写信给霍峻，想要逼降他，可霍峻表示自己会以死守城，张鲁害怕一时攻不下，还会因此得罪刘备，所以就撤了军，霍峻这一次是以勇气退敌。但这只是开始，不久之后，在正面战场不断惨败的刘璋为了挽回局面也想到了一招，那就是夺取葭萌关，断其后路，这次他派出了向存率领精锐川军一万人前来攻城。
