您当前的位置 : 东北新闻网  >  教育青少  >  新闻中心  >  本网原创

东北大学学生研发手语双向交互系统 满足与聋人无障碍交流

2018-05-21 09:25      来源:东北新闻网      作者:     分享 分享到搜狐微博 分享到网易微博

  东北新闻网讯:(通讯员李晨)5月17日至18日,2018“未来力大会”大学生社会创新大赛全国赛于在上海举行,东北大学的“妙手回声”项目荣获创行中国科创冠军赛全国总冠军。“我们研发的手语双向交互系统为聋人架起一座与世界沟通的桥梁,用一双妙手化无声为有声。”项目指导教师、东北大学机器人科学与工程学院王斐副教授表示。

  针对聋人在日常生活中与健全人交流困难问题,东北大学曾振、贺潇、李荣颉等同学在王斐老师的指导下研发出了一套基于多源信息融合的手语双向交互系统。该系统由可同步采集上肢肌电与惯性信息的佩戴式手环、安装有手语双向交流APP的平板电脑和手语识别云服务器构成。在与健全人进行交流时,系统对手环采集得到的聋人上肢多源信息进行实时处理,并基于深度学习完成手语关键词在线识别,然后使用语法模型获得手语词句,并通过语音芯片合成,实现手语到语音的转换。同时,健全人的语音可以通过APP转化为文字和手语动图反馈给聋人,从而实现了二者的自然无障碍的双向交流。与传统基于机器视觉的手势识别方法相比,使用肌电手环可避免光照、遮挡、干扰和手指细微动作无法捕捉等严重缺陷,在便携实用的同时,更增加了手语识别的实时性和准确性。为聋人在日常生活中与健全人进行无障碍交流提供了极大的便捷,也为他们从身心两方面重返社会创造了有利的条件。

  2018年10月,该团队将代表中国前往美国硅谷参加2018创行世界杯总决赛。

(编辑:小溪)

东大近期相关新闻

刚刚,东北大学获得金奖,即将代表中国去美国硅谷参加世界杯!

【一键分享 腾讯微博 分享到搜狐微博搜狐微博 分享到网易微博网易微博 新浪微博】
联系电话-024-62456456 [责任编辑:jiaoyu001]
关键词:
打印】【收藏】【关闭窗口

东北新闻网
微信订阅号

东北新闻网
手机版

东北新闻网
法人微博

新闻客户端
Android版

新闻客户端
iPhone版

所有评论仅代表网友意见,东北新闻网保持中立

  • 频道热线:024—31870130
  • 新闻热线: Tel:13358855330
  • 广告合作:胡欣 Tel:18842355283
  • 内容合作:Tel:18940282106

本站违法和不良信息举报电话:024-31885632|邮箱:hot@nen.com.cn|中国互联网违法和不良信息举报中心中国互联网举报中心

关于我们| 客服中心| 广告服务| 建站服务| 联系我们

东北新闻网版权所有,未经授权,请勿转载或建立镜像,违者依法必究。

增值电信业务经营许可证 辽B-1-4-20100011 信息网络传播视节目许可证 0603017 广播电视节目制作经营许可证 编号:(辽)字第00255号

    沈阳网络警察
    辽公网安备21010202000026号 沈网警备案20040314号 用户可信赖无线产品 辽宁网警