如何将手语转换成语音？两位中国女孩用「翻译臂环」做到了 | 潮科技

来源:36氪

原标题：如何将手语转换成语音？两位中国女孩用「翻译臂环」做到了 | 潮科技

用翻译臂环与失语者进行沟通，和“无言者”对话不再是无稽之谈。

文 | 田筱阳

编辑 | 傅博

北京航空航天大学研究生王娜娜，清华大学研究生黄爽，开奖，历时两年，为失语者群体研究出一款直接将手语转化成语音的翻译臂环——“手音”。在使用这款臂环后，可以实现失语者与普通人的流利对话。

据中国青年报报道，“手音”是一款针对失语者的小众产品，预计今年5月下旬上线。普通人可能难以想象这款产品的意义所在——手语是失语者彼此日常沟通的主要方式，但对于普通人来说却是比所有外语都难的语言。

一边是手语，一边是普通语言，可以想象将两者“嫁接”起来的难度。

手音的两位设计者，图片来自中国青年报

据统计，截至目前，全中国大概有2100万失语者，全球总共有6500-7000万失语者左右。对于这些不幸的人们来说，你我习以为常，平凡到不能再平凡的日常语言交流，都成了遥远的奢望。

以“手音”为代表的帮助手语者更好与他人交流的辅助设备，无疑是一款为聋哑人生活带来极大方便的产品。

有这个想法以来，两个女孩从最基本的技术环节开始，不断完善这款智能产品。最开始，她俩从零开始学习手语，并着手研究如何将手语翻译为语音。

查论文、做实验、写代码，在没有资金的情况下，她们便用冯如杯一等奖奖金5万元作为启动资金购买需要的设备。

在整个研发过程中，她们多次否定了图像识别技术，因为不能随时携带摄像头；她们也否定了手套这种形式，因为会考虑到以“不伤害失语者群体的尊严”为前提……

最终，她们确定采用臂环捕捉肌电信号的方法，这在某种程度上让失语者带看上去一如常人。

在确定研发方向后，她们需要不断输入数据、调试数据以保证手语翻译的准确性。两位姑娘基本上是每天执行枯燥无味的纯体力劳动。

如今，“手音”涵盖了200个手语动作，为了保证精确度，每一个动作基本都录制了1000多次。

在有了自己的手势数据库之后，手音团队还搭建了一个7层BP神经网络(一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一)对数据速度进行训练，j2直播，目前识别准确度已经达到95%。

而我们也注意到，在“手音”出现之前，其他国家也有类似的尝试如创新。

学生Hadeel Ayoub发明的Hadeel Glove, 华盛顿大学两名大二学生Navid Azodi和Thomas Pryor 发明的SignAloud均意图帮助失语者更好地与他人交流。

Hadeel Ayoub发明的Hadeel Glove

SignAloud

二者工作原理和外形十分相近，均为手套，通过传感器捕捉输入的手语信号，通过电脑或者芯片的处理，转换为语音信号输出。

另一个承担相似功能的则是UNI出品的平板MotionSavvy，具有双向翻译的能力，既能把手语翻译为日常交流的话语，也能把他人的语音翻译为文本供使用者阅读。

MotionSavvy

值得一提的是，上述三项产品的推出距现在已均有两年之多。这漫长的时间内，均无重大的技术更新或新的跟踪报道；而且，目前三项产品均不支持多语言。

由此可见，这一细分垂直领域，并非能高速增长发展的广阔蓝海，需要精心耕作。而不同语言之间天生的壁垒，亦横亘在各大竞品国际化的的道路之上。

另一方面，超脱技术层次的考虑则是，失语者是否愿意接受这一新兴的辅助工具呢？他们需要多长时间来学习并适应呢？“手音”团队如何优化产品设计，给予用户更好的穿戴及产品体验呢？

国内两千万，全球七千万的受众群体，或许并不足以肩负得起宏伟的财政目标和投资人的期许。而这一领域看起来也并非商业化发展的良田。