俗话说一朝被蛇咬十年怕井绳，曹操不止被咬过一次了：陈宫、伏完、董承、刘备，甚至孔融杨彪等人，都有干掉曹操的想法。
因为经常被人惦记，所以曹操睡觉都要睁一只眼睛。在前期，曹操外出打仗，只可以放心大胆把后背交给荀彧的，而荀彧也没有让曹操失望。但是随着时间推移，荀彧地位越来越高，影响力也越来越大，曹操就有尾大不掉之忧了："荀攸常为谋主，彧兄衍以监军校尉守邺，都督河北事。"
这时候荀家俨然已经成了仅次于曹家的大汉第二望族：荀彧总管曹军后方钱粮兵源，前线总参谋长是荀彧的侄子（荀攸虽然比荀彧还大六岁，但却是侄子辈），河北"总督"是荀彧的哥哥（荀衍，字休若，荀彧三哥），还有一个荀谌（荀彧四哥）在袁绍兵败官渡后不知所终，不知道藏在谁家了。
更令曹操忧心忡忡的，是诸曹夏侯也对荀彧心服口服。连诸曹夏侯中的领军人物夏侯惇，也跟荀彧有过命的交情（参见陈宫张邈之乱）。
