霍元甲的名声大噪之时，日本的一支柔道团队听到霍元甲的传闻事例后十分不服，因此向霍元甲发了邀请，要求到技击馆进行比武，一决高下。为了国人的名誉与尊严，霍元甲欣然答应，并前去比试。
然而，在赛中，霍元甲却发觉身体不适，没过多久便病情恶化，无药可医。一代宗师霍元甲去世时正值壮年，仅有42岁。
对于霍元甲的逝世，他的弟子及精武体育会的成员们痛心不已，各路爱国人士及精武体育会成员们为霍元甲举办了隆重的葬礼，将霍元甲的遗体安葬于上海北郊，后迁至天津小南河村南。
一代宗师霍元甲到底是怎么去世的？这一直都是个谜团。直到1989年修建霍元甲的陵园时，有关专业人员在开墓时对遗骨进行了化验，发现霍元甲的遗骨中含有大量毒素，真相也终于大白天下。
霍元甲原有咯血病，日本人在霍元甲药中下了毒，因此霍元甲服药后才会病情突然恶化，最终因此丧命。
