最传奇而大快人心的一次经历则是发生在1891年夏天，当时陈芳刚回乡不久，他和儿子一起路过一家酒店时，看到门口的一块牌子上居然写着"华人不得入内"。1887年时葡萄牙已经占领澳门，此酒店想必是专门为葡萄牙人开放，陈芳叫来了酒店负责人，但负责人也只是冷漠地说了声"规定如此"就离开了。
看到如此侮辱性的告示牌，以及门童那轻蔑的眼神，陈芳愤怒了。他当即请来了澳门本地商会负责人，当众宣布以5000美元的价格买下这座酒店，随后让工人们将牌子拆除，在门童惊愕的眼神中将其砸得粉碎，在场的中国人无不拍手称快。
这座酒店后来被陈芳改名为"四海芳园"，意思就是"四海之内皆兄弟的陈芳花园"，对所有人开放。这件事当时还上了报纸，全澳门为之轰动，四海芳园在当时也成了澳门市民最喜欢光顾的酒店。
由于陈芳的乐善好施以及爱国举动，光绪帝赐下四座"梅溪牌坊"，以表彰其忠善之心。现在这四座牌坊还存有三座，被村民们自发保护了起来，它们世世代代屹立在梅溪村，代表着人们对于陈芳传奇一生的纪念。
