首页 > 科技动态 > 内容

解读AI手语翻译机的技术核心

发布于:2024-06-17 编辑:匿名 来源:网络

雷锋网记者:根据世界卫生组织今年3月发布的最新数据,全球超过5%的人口(约4.66亿人)患有残疾听力受损。

预计到今年这个数字将达到9亿。

同时,手语是听力障碍者常用的语言,但身体健全的人士能够正确理解手语的却很少。

5月16日,腾讯优图实验室联合深圳市信息无障碍研究会发布了“优图AI手语翻译机”。

据官方介绍,用户可以通过面对翻译机摄像头来表达手语,翻译机屏幕界面可以快速将手语转换为文本。

公开资料显示,腾讯优图实验室成立于2006年,是腾讯三大人工智能实验室之一。

去年,腾讯优图实验室升级为腾讯计算机视觉研发中心。

此外,还与国际期刊《科学》达成战略合作,共享计算机视觉领域的资源和信息。

手语识别技术已被隐藏多年。

任何技术的发展都不是一朝一夕就能实现的。

尤其是近年来,优图AI手语翻译机并不是第一个针对手语应用的产品。

在此之前,手语识别技术已经发展多年。

包括国内IT企业级科研机构都针对这项技术进行了研究,并推出了这样的成果和产品:今年7月,微软团队与中科院计算技术研究所合作,创建了通过Kinect For Windows进行手语识别软件,可以将手语动作跟踪和识别转换为正常人可以理解的内容; 2018年2月,中国科学技术大学发布手语识别论文被人工智能顶级学术会议AAAI收录;论文提出了一种新型连续手语识别框架LS-HAN,无需时间分割;根据 3 月份的一项新专利申请,Magic Leap 的头戴式设备可以识别手语和文本“感官眼镜”。

相关资料概述了利用头戴式设备检测和翻译手语的方法,并介绍了如何识别标牌和店面上的文字; 2020 年 7 月,软件开发者 Abhishek Singh 演示了一款可以理解手语手势的 MOD,让 Amazon Alexa 通过摄像头捕捉和深度学习来响应手语手势。

2020年12月,爱奇艺研发的AI手语主播在中国在线视听大会上首次亮相。

它可以识别用户的语音并将其转换为文本。

它还可以理解听力正常的人的自然语言,并将其智能地翻译成手语表达。

手语识别技术的困境与突破传统的手语识别方法通常针对特定的数据集设计合理的特征,然后利用这些特征对动作和手势进行分类。

受人工特征设计和数据量的限制,这些方法在适应性、泛化性和鲁棒性方面都非常有限。

近年来,得益于大数据和深度学习技术的不断进步,人工智能算法的发展也随之加大,特别是在计算机视觉、音频处理、自然语言处理等方面,促进了人工智能的应用算法在许多应用和场景中的应用。

实施后,研究人员开始尝试应用深度学习和数据驱动的算法来解决手语识别中的问题。

然而,与大多数计算机问题不同,手语独特的地域性、复杂性和多样性给人工智能算法带来了困难。

不仅增加了数据收集和清理的成本,也使得该技术的实施非常具有挑战性,难以在实践中应用。

目前,解决听障人士沟通问题的研究多集中在将文本转化为手语;反之,将听障人士的手语转化为文字则更加困难。

据公开资料,雷锋网获悉,腾讯优图实验室的手语识别数据集涵盖了近千个日常用语和10个常用词汇。

此外,优图AI手语翻译机可以实现整句话的识别和翻译。

用户表达时,无需设定特定的结束或开始动作,就可以连贯地表达整个句子,也无需刻意在句子中停顿或停顿。

速度慢。

优图AI手语识别技术的实现方法 据官方资料显示,优图AI手语翻译机的核心技术是与听障人士手语表达高度一致的数据集和手语识别算法。

关于AI手语翻译机的手语识别数据集、特征提取器等关键技术能力,雷锋网根据官方资料整理如下: 手语识别数据集 目前,AI手语翻译机的数据集??手语翻译涵盖近千种日常用语和常用词汇。

此外,收集的数据集还考虑了手语表达的地域性和多样性,包括不同的表达习惯和速度。

该特征提取器结合了普通2D卷积网络和3D卷积网络的优点。

它利用2D卷积网络提取手语中的手势、身体姿势等静态信息,同时利用3D卷积网络提取手语中细微的、共同的特征。

快速变换动作的动态信息,最后将两种信息结合起来生成最终的特征表达。

通过结合应用视频中的动态和静态信息,可以使用简单的RGB视频图像进行手语识别。

挖掘句子表达式中的词级信息。

该算法在视频帧和最终输出之间添加了词级信息提取单元。

词级信息提取单元利用长短期网络充分考虑特征提取器提取的信息,并结合视频中的相邻信息计算词级特征表达。

该单元使得算法能够更好地找到句子中单词表达的边界,提高总结各种区域表达的能力。

分割单个句子并充分考虑句子中上下文信息的算法会在提取词级信息的基础上充分考虑整个句子中的上下文信息,然后输出最终的识别结果。

同时,为了减少用户在使用过程中的限制,技术团队在手语识别之前添加了人脸检测和动作检测模块,通过人脸检测来确定手语表达者的位置,然后通过动作检测来判断是否是手语表达者。

用户正在表达手语。

解读AI手语翻译机的技术核心

目前,优图AI手语翻译机的AI手语识别技术虽然受限于计算机性能、语??料丰富度等因素,但随着人工智能和图像识别技术不断受到关注,目前包括旷世音响等国内独角兽公司而商汤科技,以及国内的BAT和国外的谷歌、微软、亚马逊,都投入了大量资金在这项技术的研究上。

智能语音技术带来智能音箱之后,AI视觉技术能否带来类似的热销硬件产品,此前大家更关注受众群体更大的智能摄像头。

腾讯优图此次发布的“优图”“AI手语翻译机”虽然难免有些“古怪”,但仍算得上是一次更加场景化的应用和尝试。

至于能否给特殊群体带来真正的便利,还需要通过真实应用场景中的用户反馈数据来呈现。

解读AI手语翻译机的技术核心

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • Facebook市值蒸发近500亿美元后,扎克伯格3月22日回应数据泄露

    Facebook市值蒸发近500亿美元后,扎克伯格3月22日回应数据泄露

    投资界消息。 由于数据泄露事件曝光,Facebook股价本周大幅下跌,该公司两天市值蒸发近亿美元。   截至周三美股收盘,Facebook股价报39美元,市值约8亿美元。 不久前,腾讯市值超过Facebook。 本周,阿里巴巴市值也成功超越Facebook。 截至周三美股收盘,阿里巴巴市值约为1

    06-17

  • 快手:一季度电商交易总额1186亿元,同比增长219.8%

    快手:一季度电商交易总额1186亿元,同比增长219.8%

    快手今年一季度财报出炉。 财报显示,一季度快手网络营销服务收入同比增长0.5%至86亿元;其他服务收入同比增长0.1%至12亿元,主要受到电子商务增长的推动。 一季度,电子商务总交易额同比增长0.8%至1亿元。

    06-18

  • “中植科仪”完成数千万元A轮融资,由中科创兴

    “中植科仪”完成数千万元A轮融资,由中科创兴

    投资界(ID:pedaily)领投 3月20日消息,近日,新型光电检测公司中植科仪(北京)科技有限公司获悉,中科创星科技有限公司(以下简称“中科科艺”或公司)宣布完成数千万元A轮融资,由中科创兴领投,方正和盛跟投。 本轮募集资金将主要用于产品研发、市场拓展、生产工艺优化

    06-17

  • 益盛股份受暂停孵化、降价影响,1月鸡苗销售收入同比下降近50%

    益盛股份受暂停孵化、降价影响,1月鸡苗销售收入同比下降近50%

    益盛股份(58.SZ)1月销售雏鸡6300只,销量营收5万元,同比变化分别为-9.31%和-49.56%,环比变化分别为-17.23%和-37.40%。

    06-18

  • 工信部设计和封测子基金成立  目标规模为20亿元人民币

    工信部设计和封测子基金成立 目标规模为20亿元人民币

    设立工信部设计封装测试子基金,目标规模20亿元。 2019年12月16日消息,工信部设计封装测试子基金设立,目标规模20亿元。 该基金规模20亿元。 由工信部发起设立的北京集成电路产业发展股权投资基金,出资5亿元,向社会募集资金15亿元。 期限由基金管理公司与合伙人协商确定。

    06-18

  • 素士完成1.75亿元Pre-IPO轮融资,由远翼投资领投

    素士完成1.75亿元Pre-IPO轮融资,由远翼投资领投

    投资圈(微信ID:pedaily)据8月17日消息,素士宣布已完成1.75亿元。 本轮融资由远翼投资领投,老股东跟投。 本轮融资将用于公司底层技术研发和品牌营销。 新零售背景下,个人护理小家电市场逐渐兴起。 高端、时尚、功能明显的个人护理小家电逐渐占领市场。 作为小米生态链成

    06-18

  • 离散视觉

    离散视觉

    本内容讨论了离散视觉(DVT)在多模态大规模模型领域的重要性,这对于弥合视觉和文本数据之间的差距至关重要。 它强调DVT在为图像和文本创建统一的表示空间、实现视觉信息的高效编码和解码、增强模型的泛化能力方面的作用。 值得注意的是,内容中提到了快手和北大的LaVIT项目

    06-18

  • 清科创业倪正东:投资科技已成为全行业共识

    清科创业倪正东:投资科技已成为全行业共识

    科技创新飓风席卷大地。 在这个高质量发展的历史关头,由扬州市财政局、扬州市地方金融监督管理局、扬州疏港瘦西湖风景区管委会主办的“中国科技创新投资”;由主办方共同主办的“清科创业与投资界峰会”于2018年4月6日至7日在扬州举行。 主办方致辞期间,清科企业家创始人、

    06-18

  • 关于下一个十年,我们在深圳找到了答案

    关于下一个十年,我们在深圳找到了答案

    鏋佸鍏洯鍑哄搧 |鏋佸鍏洯鍒涙柊澶細锛圙eekPark IF锛?2骞存潵棣栨绂诲紑鍖椾含锛屽湪OPPO锛圛F鐙鍐犲悕鍚堜綔浼欎即锛夋繁鍦冲競绂忕敯鍖虹殑鍏卞悓鏀寔涓嬪崡涓嬫繁鍦炽?備粖骞翠互鏉ワ紝涓浗浜掕仈缃戣涓氱粡鍘嗕簡澧為?熸斁缂撱?佺洃绠?佽鍛樼瓑璇

    06-18

  • 阿里巴巴2020财年交易额突破1万亿美元

    阿里巴巴2020财年交易额突破1万亿美元

    据投资界5月22日消息,阿里巴巴集团发布了本财年全年及第四季度业绩。 截至2020年3月31日止12个月,阿里巴巴数字经济消费业务业务GMV达7万亿元人民币,突破1万亿美元。 本财年,阿里巴巴数字经济全球年度活跃消费者达9.6亿。 2016年,阿里巴巴宣布将成为全球首家五年内平台销

    06-17

  • 阿里云创新中心李中雨:构建开放创新生态,助力中小企业高质量发展

    阿里云创新中心李中雨:构建开放创新生态,助力中小企业高质量发展

    阿里云春季创业节期间,阿里云创业孵化器事业部总经理李中雨表达了对阿里云创新中心建设的看法开放创新生态,帮助中小企业实现高质量发展。 共享高质量发展。 以下为分享原文: 全球产业变革新趋势下,中国迎来又一个科技创新黄金期。 低碳、绿色、可持续发展理念成为普遍共识

    06-17

  • 福友卡车完成1.7亿美元D轮融资,由中银集团投资有限公司、经纬创投领投

    福友卡车完成1.7亿美元D轮融资,由中银集团投资有限公司、经纬创投领投

    据投资界12月17日消息,福友卡车官方宣布已于近日完成融资总额1.7亿美元的D轮融资。 本轮融资由中银集团投资有限公司、经纬中国领投,PAC基金持续加大投资。 至此,福友卡车在不到一年的时间里已成功完成两轮融资。 福友卡车成立于2019年10月,是中国城际车辆运输互联网交易

    06-18