将面部识别与摩斯电码结合,做做鬼脸就能打字(3)

2022-05-05 10:21  搜狐

另外与眼球输入相比,CheekyKeys的效率可以更高、成本更低,不仅支持26个字母输入,也可以通过特定的面部表情来输入Ctrl、Shift、空格等按键。原理是计算面部特定节点之间的相对距离,当距离到达一定阈值,便会触发对应的按键。空格键可以通过快速噘嘴来触发。

细节方面,训练CheekyKeys算法采用了计算机视觉库OpenCV,以及面部追踪工具包Dlib。为了提升面部追踪的准确性,开发者采用了谷歌的开源模型MediaPipe,比Dlib更细节、精准。MediaPipe可识别近500个3D面部节点,可更准确识别眉毛和嘴部的细微动作,触发上下左右功能。

有趣的是,为了验证CheekyKeys的效果,Everything Is Hacked尝试用表情来输入代码,测试自己能否完成求职面试的编程测试。经过二十多分钟挤眉弄眼,他完成了简单的一段代码,尽管面试结果不理想,但经验证他编写的代码可以跑通(笑哭)。

总之,尽管CheekyKeys更像是一个无厘头的小发明,但也许可以为未来的人机交互带来启发,当AR/VR头显开始支持高效的全脸面部识别,AR/VR社交将迎来更丰富的交互方式,比如做表情来打字,或是触发预设的对话文字等等。