—— 青亭网
- 0
- 0
- 0
分享
- 将面部识别与摩斯电码结合,做做鬼脸就能打字
-
原创 2022-05-04
Esther|编辑
为了探索自然的人机交互方式,市面上出现了各种各样无需手柄、键鼠的方案,比如手势、注视点、脑机接口等等。一些AR/VR头显也在探索用眼球输入的方式,其原理是利用眼球控制虚拟光标,来选择屏幕上的字母。不过,眼球追踪对于检测角度、距离的要求比较高,而且光线暗的环境下运行效果不准确。尽管目前这些生物信号输入的效率比不过键盘鼠标,但人们依然希望有朝一日动动脑、眨眨眼就能打字聊天。
近期,一位叫Everything Is Hacked的博主设计了另一种有趣的人机交互方式,该方案名为CheekyKeys,功能是通过做鬼脸来输入文字,甚至可以用来敲代码。与脑机接口方案相比,做鬼脸打字成本更低,只需要利用移动设备的面部识别/追踪功能。而与手势识别方案相比,该方案可以解放双手,允许你一边用脸打字一边操作其他任务。
虽然听起来有点奇葩,但该方案的一些细节足够有创意,也许能为现有的人机接口技术带来启发。
研发背景
据了解,这位开发者实际上也是一名新晋奶爸,他有一天带孩子的时候发现,自己没办法一边哄孩子睡觉一边工作,因为抱孩子要用上双手,这样就没办法在电脑上编程了。作为一名程序员,他决定利用科技的手段解决这一问题。
起初,他尝试语音转文字,这个方法简单直接,但是在孩子睡觉的时候,没办法大声说话。于是,便开始尝试面部追踪的方式,将眨眼动作与字母建立联系,从而实现打字的目的。常规的键盘有很多按键,而眨眼动作却没有足够多的变化,因此他决定用摩斯电码来代表26个字母,如此一来便可以根据眨眼次数和时长来组合字母,实现文字输入。
我们知道,摩斯电码是一种早期的数字化通信形式,其特点是只使用0(点)和1(横)两种状态的二进制代码,通过不同的排列顺序可以组合成不同的英文字母、数字甚至标点符号。摩斯电码比起其他通信方式更加简单、隐秘,因此你们可能会在一些谍战、侦探、解谜影片中,看到有人用声音、光线来编辑摩斯电码。
为了将摩斯电码与字母匹配,Everything Is Hacked开发者为26个字母分别开发了巧妙的助记符,并训练算法学习字母、助记符、摩斯电码之间的关系。
不过他发现,这种方式虽然简单,但长时间眨眼的体验感不好。于是,决定利用嘴唇开合来代替眨眼。并且,还用上全脸动作来触发其他案件,比如通过闭眼来触发Shift或Command键,通过抬眉毛、噘嘴来移动鼠标/光标,用瞪眼、眯眼来控制放大和缩小。
特色与优势
这项设计的初衷是,希望在你不方便说语音或是用手打字时,可以直接做鬼脸来输入文字。这是一个基于摄像头的人机交互界面,它为多任务同时操作带来可能。比如可以一边哄婴儿睡觉,一边用表情在电脑上打字,或是在开车时用表情操控车上的信息娱乐系统。而对于双手能力不便的人来讲,CheekyKeys也是一种有价值的辅助工具。
利用摄像头新来来输入、操控界面的技术已经存在,史蒂芬金就利用眼球追踪技术来输入信息、控制屏幕上的光标。然而,利用眼球追踪来逐字输入非常耗时。开发者发现,如果将计算机视觉识别到的面部表情与摩斯电码结合,打字的速度可能会超过眼球输入。
另外与眼球输入相比,CheekyKeys的效率可以更高、成本更低,不仅支持26个字母输入,也可以通过特定的面部表情来输入Ctrl、Shift、空格等按键。原理是计算面部特定节点之间的相对距离,当距离到达一定阈值,便会触发对应的按键。空格键可以通过快速噘嘴来触发。
细节方面,训练CheekyKeys算法采用了计算机视觉库OpenCV,以及面部追踪工具包Dlib。为了提升面部追踪的准确性,开发者采用了谷歌的开源模型MediaPipe,比Dlib更细节、精准。MediaPipe可识别近500个3D面部节点,可更准确识别眉毛和嘴部的细微动作,触发上下左右功能。
有趣的是,为了验证CheekyKeys的效果,Everything Is Hacked尝试用表情来输入代码,测试自己能否完成求职面试的编程测试。经过二十多分钟挤眉弄眼,他完成了简单的一段代码,尽管面试结果不理想,但经验证他编写的代码可以跑通(笑哭)。
总之,尽管CheekyKeys更像是一个无厘头的小发明,但也许可以为未来的人机交互带来启发,当AR/VR头显开始支持高效的全脸面部识别,AR/VR社交将迎来更丰富的交互方式,比如做表情来打字,或是触发预设的对话文字等等。
参考:
https://gizmodo.com/cheekykeys-is-a-face-activated-keyboard-for-typing-in-s-1848782172
—— 青亭网
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号青亭网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。
数字媒体艺术 面部识别 摩斯电码 人机交互方式 AR/VR头显