首页 > 科技未来 > 内容

拥有26亿个参数，接近人类的水平，谷歌的开放领域聊天机器人的意义何在？

发布于：2024-06-18 编辑：匿名来源：网络

科技巨头时不时宣称自己在AI领域取得了突破性进展，我们对此不再感到惊讶。

当地时间1月28日，谷歌在博客中推出了一款名为Meena的开放式聊天机器人，号称“史上最强大”。

那么这个新的突破是否会让人眼前一亮呢？ [图片来源：谷歌博客所有者：谷歌博客] 在开放领域开发聊天机器人很困难。

事实上，智能聊天机器人就是为了解决信息爆炸时代存在的信息过载问题而设计的。

最初，聊天机器人是作为搜索引擎的最终形式而设计和开发的。

与现有的搜索引擎不同，聊天机器人可以自然流畅地对用户的问题给出准确的答案，节省大量时间，从而带来更好的用户体验。

根据使用场景，聊天机器人主要有两种类型：开放域型和任务型。

其中，面向任务的主要包括问答系统和对话系统聊天机器人，分别是指根据用户的问题给出答案的聊天机器人（常用于智能家居中的智能搜索、家电控制等场景）和聊天机器人与用户进行多轮对话。

（如客服机器人、销售机器人等）。

开放域聊天机器人（又称聊天机器人），顾名思义，针对的是开放域对话场景，对话题和内容没有任何限制，比如微软的小冰和苹果的Siri。

谷歌在上述博客中表示：开放领域聊天机器人的研究不仅具有学术价值，还可以激发许多有趣的应用，例如更深入的人机交互、改进的外语训练以及互动电影和游戏角色的制作。

值得一提的是，开放领域的聊天机器人更符合人们对“人工智能”的定位，开发难度自然也很大。

开放领域的聊天机器人目前面临的一个严重问题是它们表达的内容往往毫无意义且无法理解。

它与用户的问题是连贯的，但由于缺乏基本的常识和认知，无法给出有针对性的答复。

谷歌开发的Meena是一个开放领域的聊天机器人。

那么与现有的聊天机器人相比有何突破呢？【Meena与人类对话内容图片来源：谷歌博客】26亿参数端到端神经对话模型。

谷歌在博客中介绍，Meena是一个26亿参数的端到端训练的神经对话模型，它是一个GPT-2模型。

最大版本的1.7倍（15亿个参数）。

据称，谷歌使用一亿字的数据集，通过张量处理单元（TensorProcessingUnit，谷歌专用的AI芯片）训练了30天，得到了最好的版本。

实验表明，相比聊天机器人SOTA，Meena能够更好地完成对话，而且内容更加具体、清晰。

据悉，Meena由1个Evolved Transformer编码器和13个Evolved Transformer解码器组成：编码器用于处理对话上下文，帮助Meena理解对方的话；解码器将使用该信息来生成回复。

在此过程中，谷歌表示：研究人员发现，经过超参数调整后，实现高质量对话的关键在于更强大的解码器。

【图片来源：谷歌博客所有者：谷歌博客】雷锋网了解到，谷歌从公共领域社交媒体对话中过滤了 GB 的文本，并将文本组织在树状上下文中，用于“多轮对话”训练。

研究人员将每轮对话作为训练样本，每轮之前的7轮对话作为上下文信息，它们共同形成了一组数据。

据悉，选择7轮对话作为上下文，不仅可以保证训练过程获得足够的上下文信息，而且模型也不能超过内存限制。

毕竟，文本越长，占用的内存就越多。

新提出的人类评估指标SSA 根据博客，上述性能是谷歌根据新提出的人类评估指标“敏感性和特异性平均值（SSA）”获得的。

这次提出新指标是因为目前聊天机器人的人类评价指标相当复杂，很难形成一致的评价指标。

谷歌表示，SSA 捕获了基本但对人类对话很重要的属性。

为了计算这一指标，研究人员测试了 Meena、Mitsuku、Cleverbot、DialoGPT 和小冰等常见聊天机器人。

在测试中，对于每个聊天机器人，研究人员收集了对话中的轮流，并由人类评估者对每个聊天机器人的响应进行评分（主要根据对话的流畅性和答案的准确性），以及它们各自的表现如下所示。