当时的荀彧已经看出来了家乡颍川是四战之地，主张迁走家族，但是没有得到相应，荀彧只好独自将宗族迁往相对稳定的冀州，也开始在袁绍手下做事，当时的袁绍刚刚得到冀州，还是很重视人才的，对于荀彧也很重视。
但是，荀彧看人也是很准的，他认为袁绍志大才疏，不能够成大事，一直在找机会离开袁绍，到了公元191年的时候，荀彧离开了袁绍。
当时荀彧的名气还是很大的，曹操得知荀彧来投靠，非常的高兴，很高兴的说："这是我的子房啊"，可见当时荀彧的名气了，而且，曹操后来也是经常文计于荀彧，他也出了很多的谋略。
在这之后，荀彧也一直是曹操的心腹谋士，当时的能力是最强大的，可以说，当时曹操能够统一北方，荀彧是功不可没的，他也提出了著名的世之论，而且曹操能够挟天子以令诸侯，也是靠着荀彧劝说汉朝天子，才让曹操有了这个优势。
