杨文广是杨延昭的三子，父亲死后杨文广并没有受到太特殊的照顾，而是以禁军中的小官出现在平定陕西张海造反的战场上。之后一直活跃在平定宋境内平叛战场上，因功升职为殿直。
范冲淹"庆历新政"中和杨文广有过讨论，对杨文广的军事才能感到非常惊讶和推崇，但是范冲淹时期，西夏和宋议和，北辽也和宋军没有太大摩擦。
一直在陕西为官的杨文广，这时期，虽然有名望却没有太多实战功绩。直到狄青在陕西选领官员和士兵去平定西南浓智高之乱，杨文广随狄青出征。虽然史料上找不到杨文广的具体战绩，从德顺军（宁夏）知军到宣州、邕州（广西）知州的实职官和左藏库使、带御器械的荣誉官来看，杨文广居功至伟。
