荀彧看不惯董卓胡作非为，于是弃官回到老家颍川。荀彧认为颍川四面平坦、无险可守，万一发生战争就特别容易受到攻击，于是劝告父老乡亲尽早离去。但是，乡人们大多安土重迁，不愿轻易离开。无奈之下，荀彧只能独自将自己的宗族迁到冀州避难。
冀州是袁绍的地盘，他知道荀彧有"王佐之才"，于是将之待为上宾。当时，荀彧的弟弟荀谌和他的同乡辛评、郭图等人都在袁绍手下当差。因此，荀彧也加入了袁绍帐下，成为了袁绍的一名谋士。但是，时间一长，荀彧却发现袁绍虽然位居三公之上、兵势强盛，却不善用人、无法成大事。于是决定离开袁绍、转投曹操。
