公元189年，东汉朝廷大乱，董卓专权废汉少帝自立汉献帝，当时战争爆发，为避免荀彧等人遭到迫害，把他们接到冀州。而当他到达冀州之时，冀州已经被袁绍所占领。袁绍也听闻了荀彧的名声，把他当做上宾对待。
当时袁绍有很大的实力，所以跟着荀彧的一些能人以及他的弟弟都投奔了袁绍，可是他却不以为然，他认为袁绍没有王者风范，总是出尔反尔实在不是一个胸襟开阔之人。公元191年，他终于找到了机会离开了袁绍，从而投奔了曹操。曹操是惜才之人，见荀彧肯投奔他，大为欢喜，还曾把荀彧与张良相比，可见他在曹操心中的地位。
荀彧在曹操帐中，也发挥了他的作用，他建议曹操在灭吕布这一事上，先作为旁观者，看别人相争，然后自己坐收渔翁之利。曹操听从了他的建议，在旁观望，等到吕布损失惨重之时，给了吕布一个措手不及，吕布大败，曹操占领兖州各地，这为后世曹操一统北方奠定了牢固的基础。
