首页 > 科技未来 > 内容

索尼“无声语音识别”方式:颈挂式传感器,AI转换皮肤振动信息

发布于:2024-06-18 编辑:匿名 来源:网络

现在,对于听障群体来说,可以触摸到听不见的声音。

通过“触摸”听不到的语言是由东京大学和索尼计算机科学实验室(CSL)联合开发的AI系统“Derma”实现的。

借助Derma系统,只要将传感器贴在周围喉咙的皮肤上,利用喉咙和下巴的皮肤振动,就可以将嘴型转换成言语。

可以“触摸”的语言 根据病情的严重程度,目前治疗听力障碍的主流方法包括: 药物治疗:通过静脉滴注或局部滴剂(如激素、抗生素、抗病毒药物等)消炎,以达到治疗听力障碍的目的。

尽快恢复听力;手术治疗:主要针对外耳、中耳畸形、各种咽鼓管压迫性疾病、耳外伤等;仪器辅助:如助听器(听力损失≤80dB)、人工耳蜗(听力损失>80dB)。

其中,人工耳蜗植入是目前使重度或极重度聋的患者恢复听力的唯一有效方法。

雷锋网获悉,早在2009年,科学家就在法国首次将电极植入完全失聪患者的耳蜗中,让患者感知到周围的环境声音。

直到20世纪90年代,人工耳蜗才进入临床应用阶段,为重度耳聋的患者带来了“新生命”。

事实上,人工耳蜗的发展与电子技术、计算机技术、语音学、电生理学、材料科学、耳显微外科等的发展密不可分。

在这些学科兴起和发展之前,科学家对听力受损的患者的反应是一种称为塔多马(Tadoma)的触诊唇读法。

顾名思义,这种疗法是指有听力障碍的患者通过用手指触摸说话者的嘴唇、下巴和颈部来读出说话者想要表达的意思。

上述日本团队开发AI系统Derma的灵感最初来自Tadoma。

通过机器学习实现 Tadoma 自动化 该团队的设计实际上是通过机器学习实现 Tadoma 治疗过程的自动化。

从其原理上来说,如下图所示,将加速度/角速度传感器贴在喉咙周围的皮肤上,获取静音时下颌和舌头肌肉运动引起的从下颌到喉咙的皮肤振动信息。

发声,并使用深度学习进行分析。

识别,最终实现无声语音交互(SSI),将无声语音转换为语音输入。

雷锋网指出,该传感器可获取12维皮肤运动信息,深度学习可分析识别35种发声类型。

索尼“无声语音识别”方式:颈挂式传感器,AI转换皮肤振动信息

实验表明,识别皮肤震颤信息的准确率超过94%。

值得一提的是,研究团队使用连接主义时间分类(CTC)来训练模型。

事实上,在训练语音识别器的过程中,由于说话者语速等因素,很难将输入和输出对齐。

为了解决这个问题,连接时间分类就派上用场了。

从外观上来看,与现有的一些无声语音交互设备相比,该设备体积小、重量轻、不显眼。

此外,该系统功耗低,不易受环境亮度等因素影响,不会影响佩戴者的正常生活。

可以说是非常实用了。

此外,研究团队表示,转换后的语音合成不仅可以输入到具有语音识别功能的数字设备(语音助手)中,还可以帮助有语言障碍的患者进行交流。

未来,团队的研究方向将是可穿戴电子设备和体内嵌入式计算集成。

基于AI的无声语音交互 近年来,无声语音交互领域方兴未艾。

目前业界和学术界在该领域主要有两种思路——通过感知气流(气流采集)识别单词和通过感知肌肉运动(EMG)识别单词。

信号采集)。

以下是该领域发展的大致时间表: 2010年,麻省理工学院感觉通讯小组开发出一种触觉设备,可以克服清晰唇读的障碍,且成本比人工耳蜗植入手术低几个数量级; 2010年,牛津大学人工智能实验室、谷歌DeepMind和加拿大高等研究院(CIFAR)联合开发了结合深度学习技术的唇读程序LipNet; 2017年,DeepMind经过10000小时的新闻视频训练,将AI唇读准确率提升至46.8%。

; 2019年,世界知识产权组织公布了微软申请的“无声语音输入”专利,丰富了“机器理解人类语音”的场景; 2017年3月,浙江工业大学与中科院计算技术研究所智能信息处理重点实验室和中科院大学联合提出在局部特征层引入互信息约束,全局序列层增强口形特征与语音内容之间的关系,将计算机唇读的准确率提高到84.41%。

事实上,无声语音识别不仅可以帮助听力和语言障碍人士,还适用于灾难场景、舱外探索、水下作业、工厂车间等场景。

不过,静音语音交互设备想要真正成为消费级产品,还需要打磨。

正如微软全球高级技术院士、微软云与人工智能事业部负责人黄学东博士曾表示:虽然公开测试和发表的学术文章不能完全脱离现实,但与消费产品和商业场景相比,仍然需要不同判断标准。

关于Sony CSL 如上所述,Derma 是由东京大学和Sony CSL 联合开发的。

在中国人民大学出版社2017年出版的《索尼研究所的经营哲学》一书中,索尼CSL董事长索振雄阐述了索尼CSL的经营理念和管理理念。

因此,麦猫写道,索尼CSL遵循“小即是美”的经营理念,坚持不扩大规模。

由此诞生了很多“偏差天才”,也支撑了人才的“流通”。

雷锋网了解到,索尼CSL成立于2006年,作为索尼的“创新工厂”,广泛关注计算机科学、生命科学、脑科学、经济学等多个领域。

目前索尼CSL的研究方向包括“全球议程”(涵盖从能源到食品和医疗保健的问题)、“人类增强”(包括探索人类创造力和人机交互/集成的研究)和“网络智能”(AI)。

2020年11月,索尼宣布成立索尼AI部门,以“利用AI激发人类想象力和创造力”为使命,旨在推动AI技术的基础研究和发展。

索尼 CSL 总裁兼首席执行官 Hiroaki Kitano 是索尼 AI 的全球负责人。

主要的。

索尼“无声语音识别”方式:颈挂式传感器,AI转换皮肤振动信息

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 宜家样板房变“绿”了,并称这是你的“明日之家”

    宜家样板房变“绿”了,并称这是你的“明日之家”

    去年夏天,在波兰什切青一栋20年的废弃建筑里,宜家推出了一个有趣的绿色空间““明日之家” ”。 它向公众展示了一种创新的城市生活方式——如何在无浪费的环境中更可持续地生活。 虽然快闪店现已关闭,并将在不久的将来改造成“斯堪的纳维亚之家”,但其概念再生式的家并没

    06-21

  • 线下场景流量运营商“连帆科技”完成近亿元融资

    线下场景流量运营商“连帆科技”完成近亿元融资

    据投资界8月13日消息,中国最大的线下场景流量运营商连帆科技正式宣布完成新一轮融资,领投方为帆创资本领投,中海投资、千石创投、龙百资本、通衡浙商资本跟投。 Faceface科技成立于2017年,是一家基于场所的场景电商SAAS服务平台。 创新提出线上线下数字化运营的“场景电商

    06-18

  • 中兴通讯成LP出资5亿元

    中兴通讯成LP出资5亿元

    投资圈-解码LP获悉,近日,公司拟以有限合伙人身份出资5亿元认购北京顺义建光展路新兴产业股权投资合伙企业(有限合伙)(暂定名)分享。 基金规模为8.51亿元(最终金额以实际募集金额为准)。 该基金投资于国内TMT领域的优秀企业,投资方包括建广顺创、紫光资本等。 官网介绍

    06-17

  • 阿里云【AI24小时】2024年3月11日

    阿里云【AI24小时】2024年3月11日

    1.前端不复存在了吗?盲测中64%的人更青睐杨笛一流团队新作GPT-4V的设计>>点击查看原文自从大型模型技术突破以来,越来越多的行业采用自动化的趋势,其中进展最快的似乎是软件开发本身。 根据您的自然语言指令,ChatGPT 等工具可以在生成代码的同时与您聊天,并且结果越来越可

    06-18

  • “德康医疗”完成5亿元融资

    “德康医疗”完成5亿元融资

    近日,骨科创新公司“德康医疗”完成总计5亿元B轮融资及系列资金支持;杭州湾智慧医疗产业基金领投,共青城永谦、蓝山投资、首正泽富、晓驰资本等也参与投资,老股东海邦资本、宏达君合继续追加投资。 易凯资本充当专属财务顾问。 本轮融资将用于加快新生产基地建设,解决产

    06-18

  • 一年内获三轮融资,LigaAI完成靖亚资本领投的A轮融资

    一年内获三轮融资,LigaAI完成靖亚资本领投的A轮融资

    投资界(ID:pedaily)3月3日消息,近日,新一代智能研发协作平台LigaAI宣布完成A轮融资领投获靖亚资本A轮融资,金额数千万。 TH Capital充当专属财务顾问。 这也是LigaAI一年内完成的第三轮融资。 SIG、迅雷等老股东创始人、程浩持续多轮融资。 LigaAI成立于2017年,作为新型

    06-17

  • 新闻丨云事达医疗集团完成数千万美元A轮融资

    新闻丨云事达医疗集团完成数千万美元A轮融资

    据投资界6月18日消息,据媒体报道,近期专注于辅助生殖医疗服务领域的云事达医疗集团,宣布完成数百万美元A轮融资。 万美元融资,由Alpha USD Fund等投资机构投资。 云事达医疗集团始于2001年,专注于孔内外辅助生殖医学领域的投资、运营和管理。 云事达集团确立“以客户为中

    06-18

  • 博创科技:2020年净利润同比增长1036%达8846万元

    博创科技:2020年净利润同比增长1036%达8846万元

    博创科技(48.SZ)发布年报,披露全年营业收入7.77亿元,同比-同比增长90.76%;全年实现归属于上市公司股东的净利润1万元,同比增长%。

    06-17

  • 网约车行业发布安心出行倡议:运营车辆每日消毒,执勤时每日测量司机体温

    网约车行业发布安心出行倡议:运营车辆每日消毒,执勤时每日测量司机体温

    上头条,2月17日,中国交通运输协会共享出行分会联手高德地图与47家网约车平台联合发布“安心出行”倡议,共同抗击疫情,即日起启动“安心出行月”,要求运营车辆每日消毒、司机每日测温执勤、作业全程佩戴口罩、作业车辆内佩戴口罩。 张贴消毒、测温公告,保障乘客疫情期间出

    06-18

  • 最活跃的基金中的基金又来了

    最活跃的基金中的基金又来了

    最活跃的LP又来投资了。 投资界-解码LP获悉,近日,国家中小企业发展基金有限责任公司发布关于遴选第六批子基金管理机构的公告,现面向社会公开遴选第六批子基金管理机构国家中小企业发展基金。 国家中小企业发展基金成立于2006年,迄今已投资项目31个,规模达1亿元。 仅今年

    06-17

  • AIGC科技企业「爱设计」完成B1轮融资,视觉中国领投

    AIGC科技企业「爱设计」完成B1轮融资,视觉中国领投

    感谢客户、用户、合作伙伴以及视觉中国、智普、36氪对“AiDesign&AiPPT.cn”的支持。 “AiDesign&AiPPT.cn”未来将继续深化在内容数字化和AI+办公效率工具方面的发力,拓展更丰富的AI应用场景,为用户提供全面的AI内容解决方案。 公司将利用本轮融资加速产品创新、扩大市场覆

    06-18

  • 小米集团公布新任CFO人选,原瑞信亚太区高管

    小米集团公布新任CFO人选,原瑞信亚太区高管

    投资圈(微信ID:pedaily)8月26日,小米集团(.HK)发布公告,披露了集团CFO最新人选,首席财务官 推选委员会选定林世伟担任小米集团和副总裁集团首席财务官,将于今年10月8日正式履职。 据悉,即将加盟的新任CFO林世伟拥有丰富的资本市场经验和深刻的行业理解。 他此前曾担

    06-18