康奈尔大学可穿戴戒指实时翻译手语,准确率超90%

发布时间:2025-03-26 15:54  浏览量:3

美国手语(ASL)长期以来帮助英语国家的聋哑人和听力障碍者实现实时交流。但当交流者中有人不熟悉这套语言系统时,对话就会频繁卡壳。康奈尔大学的科研人员通过结合深度学习人工智能与微型声纳技术,正在研发一款突破性可穿戴设备“拼写戒指(SpellRing)”,有望打破这种沟通壁垒。未来经过完善后,这款设备或将实现无需ASL基础也能完成完整对话。

ASL最早可追溯至18世纪初康涅狄格州哈特福德聋人学校。如今全美约有40万人使用现代ASL,其中包括大量聋哑人子女(CODA)。与所有语言类似,ASL需要数年学习才能精通。但由于大多数美国人日常生活无需使用,该语言仍主要局限于聋哑人和听力障碍群体,相关技术创新也长期滞后。

“现有ASL手指拼写识别设备普遍存在体积臃肿、实用性差的问题,导致聋哑群体不愿采用。”康奈尔大学信息科学博士生林玄哲(音)在3月17日的校方专访中表示,“我们的目标是用一枚戒指精准捕捉ASL中所有精妙复杂的手指动作。”

林博士及其团队此前通过康奈尔未来交互智能接口实验室(SciFi Lab),已开发出面部表情识别、VR手势交互、无声语音识别等技术。SpellRing是在早期产品“姿势戒指(Ring-a-Pose)”基础上的升级版,通过多重传感系统解析ASL手指拼写动作。

核心技术是拇指佩戴的3D打印戒指,仅硬币大小却内置微型麦克风与扬声器。当用户进行手指拼写时,设备发射人耳不可闻的声波,同时通过微型陀螺仪捕捉手部运动轨迹。深度学习算法会将声纳成像实时转化为字母,显示在电脑屏幕上。

研究团队邀请20位不同水平的ASL使用者参与测试,累计识别超过2万个单词。根据词汇长度和难度差异,SpellRing最终实现82%-92%的识别准确率。

“技术开发者与目标用户之间往往存在鸿沟,我们正在努力弥合这种差距。”论文合著者、信息科学助理教授张诚(音)表示。

但研究人员坦言当前成果只是起点。现有设备仅能识别手指拼写,而ASL包含4000多个词汇,涉及上半身动作、面部表情等丰富肢体语言。

“虽然手指拼写在技术层面极具挑战性,但它只是ASL的冰山一角。”语言学博士生、合著者陆简(音)指出,“要实现完整ASL识别还有漫漫长路,但我们已经迈出关键一步。”

研发团队下一步计划将微型声纳系统集成至智能眼镜,用于捕捉用户面部表情和上半身动作,进一步扩展设备功能。

外部推荐