之后，随着民众的愤怒水涨船高，国内爆发了一阵抵制赫德的热潮。在这阵风潮中，清廷顺水推舟地成立了相关机构，逐渐接管了海关的财政，直接削弱了赫德的权力。1908年初，赫德在海关的办公桌上留下了一张言辞微妙的便笺，随后便乘船离开了中国，回到英国度假。
虽说如此，但是，他在大清的职务仍是总税务司。
特定的历史条件，特定的人物，给后人留下难以定论的遗产。毫无疑问，赫德是一个外国人，从当代的角度来看，外国人把持海关无疑是侵犯了中国的主权。近期，经常在论坛上看到有朋友过分抬高赫德这个历史人物，笔者认为：或许赫德曾有"出淤泥而不染"的志向，但他并未做到，这是不容辩驳的事实。
参考资料：
【《揭秘赫德：在清廷掌权长达45年的英国人》、《中国论集》】
