首页 > 科技未来 > 内容

人工智能如何知道人类对话在说什么？微软研究团队告诉你

发布于：2024-06-18 编辑：匿名来源：网络

语音播放文章内容由深声科技提供。

您的浏览器不支持音频元素。

最近，微软研究团队通过对上下文建模的研究，提出了一种新方法。

这种方法可以让AI模型通过上下文的历史记录来改写对话中的最后一句话。

那么，这是一种什么样的研究方法呢？呢绒？ KYLE WIGGERS对此进行了详细介绍。

雷锋网把他的文章原封不动地整理如下。

在预发表论文中，微软研究团队详细介绍了他们在开放域对话的无监督上下文重写方面的工作。

他们声称他们的实验结果在重写质量和多轮响应生成方面达到了最先进的基准。

正如研究人员所解释的，会话上下文带来了句子建模中未发现的挑战，例如主题切换、共同引用（如他、她、它、他们）和长期依赖性。

大多数系统解决这些问题的方式是在最后一段中添加关键字，或者使用人工智能模型来学习数值表示，但这种方法经常遇到障碍，例如无法选择正确的关键字以及无法处理较长的上下文等待。

这就是微软研究团队的方法的用武之地。

它通过考虑上下文信息重新表述对话中的最后一句话；这样做是为了生成一个独立的话语，既不交叉引用也不依赖于过去对话中的其他话语。

雷锋网注：【图片来源：微软所有者：微软】例如，如果“我讨厌喝咖啡。

- - 为什么？味道不错。

”转化为“为什么我讨厌喝咖啡？味道很好。

”味道不错。

”这里借用了“it”和“why”。

其中，“it”指的是对话中提到的咖啡，“why”是“为什么我讨厌喝咖啡”的缩写。

对此，研究人员设计了一个机器学习系统——上下文重写网络（雷锋网：context rewriting network，CRN）来实现端到端的流程自动化，该系统由一个序列到序列模型组成，可以将固定长度的话语映射到固定长度的话语。

它还有一个独立的注意力机制，可以通过查看最后一句话中的不同单词来帮助它复制单词。

那么，这个系统是如何设计的呢？通过提取上下文关键字并将这些关键字插入到原始对话的最后话语中来生成然后，为了使最终响应影响重写过程，他们使用强化学习来推动系统实现目标。

雷锋网注：【图片来源：微软所有者：微软】在一系列实验中，团队在多个重写质量、多轮响应生成、多轮响应选择以及基于端到端的检索等方面评估了他们的方法。

任务申请。

他们注意到，他们的模型在强化学习后偶尔会变得不稳定，因为它更喜欢从上下文中提取更多单词，但这也显着提高了话语的多样性。

微软研究团队相信他们的工作是朝着更可解释和可控的上下文建模迈出的一步。

此外，研究团队还表示，他们的模型可以从嘈杂的上下文中提取重要的关键词，然后将这些关键词插入到最终的话语中，使其不仅易于控制和解释，而且有助于将信息直接传达到最终的话语中。

雷锋网注：本文整理自KYLE WIGGERS在venturebeat发表的文章。

站长声明

标签：

上一篇：人造肉公司周零STARFIELD获愉悦资本、经纬中国数千万元融资

下一篇：a16z 计划推出 10 亿美元加密货币风险投资基金

据传，小电科技计划今年在香港上市，最快本月向港交所提交招股说明书，

媒体报道称，小电科技计划今年在香港上市，最快本月将正式向港交所提交招股书。

06-18
新希望：计划参与设立总规模40亿元的广西新希望生猪供应专项产业基金

新希望宣布旗下子公司广东基金公司与金橡树公司拟共同设立基金，总规模40亿元与广西引导基金元旗下的广西新希望生猪供应专项产业基金合伙企业（有限合伙）规模40亿元，其中金橡树公司认缴出资32.4亿元，出资比例为81%；广西引导基金认缴出资7.59亿元，出资比例18.%；广东基金

06-17
SEMI：下半年全球晶圆厂设备支出反弹，明年有望强劲增长

新闻SEMI中国，美国加州，2019年12月16日——SEMI在《世界晶圆厂预测》报告中指出（ World Fab Forecast）认为，在上半年疲软之后，下半年存储器投资激增，全球晶圆厂设备支出预计将上调至 1 亿美元。 SEMI数据显示，晶圆厂设备投资同比仅下降7%，较之前预测的下降18%有显着改

06-06
OpenAI新法庭文件曝光：马斯克撒谎了！起诉是为了获取专有技术和敏感信息

马斯克与OpenAI的纠纷有了新进展。针对马斯克的起诉，OpenAI向法院提交了一份法律文件，请求当地法院根据加州法律对此案作出裁决。阻止马斯克利用法律程序规则获取OpenAI的技术和商业秘密是一个“复杂的案件”。在这份长达六页的文件中，OpenAI 强调，他们没有违反与马斯克

06-17
MSCI上调快手ESG评级至BBB

近日，国际权威指数机构摩根士丹利资本国际（英文简称“MSCI”）公布了最新年度环境、社会和治理（英文简称“ESG”）评级结果。凭借在ESG方面的出色管理表现，快手科技（以下简称“快手”）ESG评级提升至BBB级，为国内互联网企业最高级别。这也是快手自纳入评级以来首次获

06-18
家居维修公司91昌秀宝完成Pre-A轮融资

据6月24日消息，近日，久易到家（北京）科技有限公司（以下简称：九一到家）运营的91昌秀宝新一轮项目落地。九一到家）Pre-A轮融资已完成，投资方为北京瑞感鑫盛投资管理中心（有限合伙）。资本公司投资经理班昱东先生也加入了91长秀宝联合创始人，出任董事一职。据了解，

06-18
胡祖六：不要控制VC-PE，互联网不会颠覆传统金融

简介：“湘军”、哈佛大学、经济学博士、达沃斯世界经济论坛、IMF官员、经济学家、金融专家、高盛、中国大自然保护协会、春华资本...姚传奇人物明（Fred Hu）始终活跃在国内外各大高端金融论坛和重要经济会议上，像经济学家一样表达对中国经济的看法。　　“乡村会被毁掉吗，

06-17
小鹏汽车已通过港交所上市听证会，第二大股东淘宝持股11.9%

6月23日，香港联交所官网显示，小鹏汽车已通过香港联合交易所主板听证会。招股书显示，小鹏汽车的联席保荐人为摩根大通和美银证券，计划发行1万股。股东方面，招股书显示，小鹏汽车联合创始人、董事长和CEO何小鹏及其关联公司为小鹏汽车控股股东，持股21.75%；淘宝中国持股

06-18
有吸引力的区块链传媒“商业”，又一“31区”获A轮融资

投资界3月19日消息，区块链垂直媒体“31区”近日宣布完成A轮融资，投资方为A-股份上市公司晨鑫科技和区块链投资机构DFUND。　　31区于今年2月成立。它是由中国自媒体公司WeMedia新媒体集团与区块链投资人BMAN联合孵化的区块链传媒。辰鑫科技是一家A股上市公司，专注于于文

06-18
广汽集团：5月汽车销量同比增长3.54%

广汽集团公布，5月汽车产量19.24万辆，同比增长16.12%，今年累计产量为91.92万辆，同比增长9.70%； 5月汽车销量今年总销量18.31万辆，同比增长3.54%。今年累计销量91.55万辆，同比增长6.40%。

06-18
布局商业航天产业链，中科星Pre-A轮领投“震旦星康”

“震旦星康”于今年8月成立。是一家定位于航天光通信器件研发的高科技公司。致力于开发高带宽、高可靠、高安全、低成本的激光通信终端，为用户提供系列产品和系统级解决方案。

06-18
奈雪茶首日融资暂录367亿港元，超买71倍

6月18日，奈雪茶今日启动IPO。根据多家券商数据，奈雪的茶暂定融资融券2亿港元，超额认购71.1倍。其中，辉立贷款1亿港元，富途贷款6000万港元，盈立贷款8.5亿港元。

06-18