有文官也上奏称狄青是武将，不能专任，必须给他配个文官担任他的副手。这时，宰相庞籍向宋仁宗陈述宋将的权力太轻，指挥军队无力，所以才对西夏和契丹作战屡败，认为如果不给狄青全权，还不如不派他远征。
经过庞籍的力争，宋仁宗终于解除了疑忌，任命狄青为征南节度使，在前线拥有全权的指挥权，统领二十万大军南下平叛。其中，宋军的先锋即是赫赫有名的"杨家将"中的第三代--杨文广。
十二月，侬智高的兵锋依然很锐，此时已攻破桂州（今桂林市），杨文广所率的先头部队在桂州与侬智高的部队正面相遇，战斗十分激烈，结果宋军受重创，杨文广被困后找机会才逃脱。
皇祐五年（1053年）正月的上元节（正月十五），狄青下令大宴三夜赏灯。侬智高得到探子的汇报后，认为狄青不会迅速进军邕州。
