后来公孙瓒察觉到了刘虞的心思，两人正式决裂，公孙瓒整日对他冷嘲热讽，而刘虞也很难还嘴，于是他在众人眼中的形象也越来越窝囊，这也让刘虞心里对公孙瓒越来越怨恨。
作为公孙瓒的上司，这一点无疑让刘虞很是不爽，于是他便上报朝廷，弹劾公孙瓒。可此事也被公孙瓒知道了，于是两人的矛盾愈演愈烈，刘虞被大家骂窝囊骂急了眼，于是起兵准备讨伐公孙瓒。
大军出发前，程绪脱下头盔劝道："公孙瓒虽有过恶，而罪名未正。明公不先告晓使得改行，而兵起萧墙，非国之利。加胜败难保，不如驻兵，以武临之，瓒必悔祸谢罪，所谓不战而服人者也。"刘虞认为程绪临战阻碍计划，扰乱军心，若就此作罢，这顶窝囊的帽子就只会戴
