浙江大学最近的研究显示，在空中晃动手指就可以为智能手表输入文本

。本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，请联系原出处进行转载。许多人在日常使用的智能手表，要么通过语音输入，要么通过敲打或手写来进行文本输入。有时候你可能不方便说话，或者在小屏幕上使用键盘有点不方便。那该怎么办呢？或许可以尝试一下“隔空打字”的方法。浙江大学已经开发了一款名为AirText的应用，只需要你简单地移动手指和手腕，手表就可以准确识别空中字符，错误率低至3.9%。

还具备联想和推荐功能，可提高拼写速度。AirText的主要挑战之一是如何让智能手表具备“隔空打字”功能，并理解手腕运动和指尖拼写动作之间的映射关系。如下所示，书写时手腕的移动轨迹与常规字母有着明显的区别。为了达到这个目的，研究团队利用现有工具Leap Motion进行了研究。该工具可以使用红外传感器来跟踪手势。然后，八位志愿者使用五款不同的智能手表，拼出超过25000个字符，并使用Leap Motion收集相关的手腕和手指运动数据。AirText通过将用户在空中书写时的手腕微小动作转化为数字信号，再输入到神经网络模型进行训练，从而能够推断出指尖的书写轨迹。接着，只需使用智能手表，我们便能够高效而准确地将推测出的轨迹识别为相应的字符。为了提高输入速度，他们还为系统添加了单词预测和推荐功能。

预测单词会显示在手表屏幕的四个方向，只要你将手表往上、下、左、右倾斜即可进行选择（如果需要退格，则只需摇晃手表）。AirText的准确性测试显示，误差率为3.9%。我们先来分析一下。衡量语音识别的指标是WER（即词错误率，Word Error Rate），计算方法是统计出所有错误的词和正确的词的数量，然后将错误词的数目除以总数。在这种情况下，错误字可分为三种类型：漏字（用I表示，即需要插入的字的数量，以便进行正确拼写的校对）、多字（用D表示，即需要删除的字的数量）、错字（用S表示，即需要替换的字的数量）。与两种基线方法（IMU-CNN和BLSTM）相比，AirText的最终得分最低，意味着它的准确性最高。

的平均值分别为3.9%、30.9%和57.1%。以上是针对单个用户在单台设备上的评测结果。为了更精准，他们还测试了多用户和多设备，测试结果如下：在左图中，同一用户使用了5种不同的智能手表进行AirText的测试。得到的准确率分别为8.3%、7.5%、6.5%、7.7%和3.9%。研究员称，7%的识别错误率意味着每15个单词中有一个错误被识别，这对于隔空手写来说还是可以接受的。在右侧的图中，8位不同的用户使用相同的手表，获得了11.2%、5.9%、4.3%、4.0%、3.6%、5.9%、4.7%和3.9%的错误率。从中我们可以看出，不同的用户对准确性的影响大于不同的设备。研究人员指出，即使涉及模型更新组件，AirTex仍能够为不同用户提供高准确率。接下来是进行速度测试。由于BLSTM基线的识别错误率约为57%，太高了，研究人员只评估了AirText和IMU-CNN的速度。

的衡量标准是WPM（每分钟单词数，Word Per Minute），其计算方式为通过用总输入字数减去错误字数，再除以时间来完成。AirText的平均每分钟单词数为8.1，而IMU-CNN基线的每分钟单词数仅为4.6。研究人员指出，此种输入速度与一些基于双手触摸屏的文本输入方法相当，这些方法在实际应用中的每分钟字数为9.1、9.8。从总体上来看，AirText的准确度相当不错，但是它的速度还有提升的空间。

的输入速度较慢，主要是由于每输入一个字符都需要停顿一段时间。研究人员正在探索解决方案，并表示有兴趣最终将AirText转化为商业产品。

：高艺是浙江大学计算机学院的助理教授，毕业于浙江大学，并拥有博士学位。他的研究方向包括嵌入式软件、无线和移动计算、传感器网络和信息物理系统。这篇论文的通讯作者是董玮，他是浙江大学计算机学院的副教授和博导。董玮在浙江大学获得博士学位，他的研究方向主要涉及物联网系统和网络、边缘计算，以及无线和移动计算。其在谷歌学术上的引用次数超过了3000次。论文的链接：https://ieeexplore.ieee.org/document/9625777