后来八国联军攻占北京，载漪因支持抗击敌人而被慈禧发配，李瑞东在宫中也没了立足之地，于是便回到家中潜心研究武术。当时霍元甲正在天津法租界海河码头当脚夫，有“霍大力士”的称号，他曾与另一位同有大力士之称的金达官比试，很轻松就赢了对方。
金达官对此很不服气，就对霍元甲说：“如果你能打赢神鹰李，那才是真本事。”于是霍元甲就真的找到了李瑞东，李瑞东很热情地接待了他，并且答应了切磋的请求。哪知比武开始后，霍元甲一脚攻上，李瑞东纹丝不动，再一脚上去，依旧没能踢动李瑞东。霍元甲此时已自知不敌，便拱手称败。
两位都是武学高手，只不过路数不同，各自点到即止也就罢了。霍元甲回去后更加用功钻研武学，而李瑞东在1910年开办了“武德会”，后又改名为“中华武士会”，以团结凝聚和振奋民心为宗旨，为普及中华武术、增强人民体质、增加民族凝聚力和自信心作出了突出的贡献。
