建安八年（203年），曹操进攻黎阳退走后，袁谭要求铠甲及士兵，袁尚拒绝。袁谭大怒，在郭图等人的劝说下，袁谭就率兵攻打袁尚，双方在外城城门交战，袁谭战败，就率领部队退回南皮。之后，袁谭更是联合曹操攻打袁尚，不久叛变。建安九年（204年）十二月，曹操率军把袁谭包围南皮。
到了建安十年（205年）一月，在曹操的急攻下，南皮被攻破，袁谭在逃亡时被虎豹骑所杀，曹操进城后，将郭图这位谋士斩杀。对此，郭嘉曾评价道："有郭图、逢纪为之谋臣，必交斗其间，还相离也。" 对于袁绍一方的败亡，郭图这位谋士负有不可推卸的责任。因此，等到平定袁绍地盘的时候，曹操同样没有放过郭图这样的小人。
