灵帝永康二年（公元168年），段颎率一万精锐出彭阳，奇袭高平，与先零羌决战于逢义山。先零羌人多势众，率先发动攻势。段颎沉着冷静，命令长矛手排为三列，将强弩兵夹在其中，骑兵掩护左、右两翼，迎战先零羌军。羌军大败，被杀八千余人，二十八万头牲畜尽落入段颎之手。
这次辉煌的胜利奠定胜利的基础。夏季，段颎深入作战，从桥门谷一路追击到走马水畔，取得一连串的胜利。段颎接到情报，在奢延泽一带发现先零羌的踪迹，他立即率轻骑兵日夜兼程，以一日二百余里的行军速度赶到战场，于清晨发起进攻。羌人猝不及防，损失惨重，余众逃到落川，才重新收拢部队。
段颎兵分两路，由骑司马田晏率五千人从东面发动攻击，以假司马夏育率二千人从西面发动攻击。羌军派出六七千人迎战田晏，吃了败仗，溃不成军，向令鲜水撤退。段颎火速推进到令鲜水畔，此时将士已十分疲惫，饥渴交加，段颎下令军队不得休息，摆好进攻的阵型，一鼓作气，再次突击羌人。羌人又遭败绩，只得继续逃窜。
经过短暂休整，段颎继续清剿，羌人被迫退向灵武谷地。段颎身披铠甲，率先攀登山地，士兵们无人敢落后，这近乎魔鬼般的超强度的军事行动，打造出一支钢铁般的军队。羌人再度被击败，落荒而逃。段颎率众军士追了三天三夜，所有人脚下都起水泡，以勇悍著称的羌人总算见识如此不要命的汉军将领。羌人屡战屡败，撤到汉阳谷地。
