关于詹世钗的故事，在村内流传甚广。据说在他一岁多时，母亲带着他到外祖母家看元宵庙会。詹世钗饿了，就站在母亲面前吃奶。许多看庙会的村民见到后，议论纷纷，觉得这个孩子太不像话了，这么大了还要吃奶。他母亲连忙解释说："孩子还未满两岁，只是长得比较高，请大家不要吓到他了。"
詹世钗长大后，已经有两米多高了。徽州的房子建造的很高，一般在五米左右，他站起来就有房子一大半高。当年清军被太平天国军的打败，撤退时路过此地，四处抢劫，吓得村民们纷纷关门避难。当时，部分清军准备冲进詹家抢劫。原本坐在床上的詹世钗突然站起来，如同一位巨人，清兵吓得胆战心惊，连滚带爬地逃走。
后来，詹世钗到上海谋差，与三哥詹世钿在一家徽州玉映堂墨号为制墨工人。被一位英国人看见了，他觉得詹世钗非常奇怪，怎么会长得这么高？于是他花重金将其请回去，让詹世钗穿上官服，供人欣赏围观。
英国人把他带到了香港等地，之后把他带回英国，帮他弄了个英国国籍。詹世钗穿着清朝的官服，到各国表演赚钱，还娶了一位英国女子当妻子。两人生了两个儿子，一个女儿。然而，他在国外的生活并不好过，安徽省天长人宣鼎在其著作《夜雨秋灯录》中记载：在上海时，洋人只是将詹世钗当做赚钱的工具，带着他四处游走，供人观看和欣赏。到了国外后，他的情况也没有好转。
