东车日报｜凯迪拉克首款电动车可预订-Rivian市值超越大众成全球第三-特斯拉加州致命车祸调查取消
06-21
当 OpenAI 在 11 月底悄然推出 ChatGPT 时，这家总部位于旧金山的人工智能公司几乎没有抱任何期望。
诚然，OpenAI 内部没有人预料到这会成为一场巨大的病毒式热潮。
从那时起，该公司一直在疯狂追赶，并试图从中获利。
OpenAI Policy 的 Sandhini Yao 表示，ChatGPT 最初被视为“研究预览”：对两年前技术的更成熟版本的预览，更重要的是，尝试通过公众反馈纠正其一些缺陷。
参与 ChatGPT 开发的 OpenAI 研究员利亚姆·费杜斯 (Liam Fedus) 表示：“我们不想过度宣传它，并声称这是一项重大的根本性进步。
”了解有关此聊天机器人的更多信息 - 它是如何开发的、OpenAI 自发布以来如何不断更新它以及其开发人员如何看待它的成功。
我们采访了四位帮助开发这款应用程序的人，他们已成为互联网上最受欢迎的应用程序之一。
除了Agarwal和Fedus之外，我还采访了OpenAI的John Schulman和OpenAI校准团队负责人Jan Leike。
校准团队致力于解决人工智能如何实现用户想要的行为（而不是其他）的问题。
我的感觉是，OpenAI 仍然对其研究预览的成功感到困惑，但它抓住了推进技术的机会，观察数百万用户如何使用它，并尝试解决出现的最大问题。
自 11 月以来，OpenAI 对 ChatGPT 进行了多次更新。
研究人员正在使用对抗性训练技术来防止 ChatGPT 被用户诱导出现不良行为（也称为越狱）。
这项工作让多个聊天机器人相互对抗：一个聊天机器人扮演对手的角色，通过生成文本来攻击另一个聊天机器人，迫使其违反通常的约束并产生不需要的响应。
成功的攻击将添加到 ChatGPT 的训练数据中。
希望它能够学会忽略这些攻击。
OpenAI 还与微软达成了价值数十亿美元的协议，并与贝恩结盟，贝恩计划在为其客户（包括可口可乐）开展营销活动时使用 OpenAI 的生成能力。
人工智能模型。
在 OpenAI 之外，围绕 ChatGPT 的热潮引发了大规模语言模型的又一波炒作，世界各地的公司和投资者纷纷加入。
这在短短三个月内就引起了如此多的炒作。
ChatGPT 的起源是什么？ OpenAI 正在采取哪些步骤来确保其准备好公开？接下来他们会做什么？内容摘录 Jan Leike：坦白说，这是压倒性的。
我们非常惊讶并且一直在努力追赶。
John Schulman：在 Twitter 发布后的几天里，我一直在查看 Twitter，我的推送中充满了当时 ChatGPT 的屏幕截图。
我期望它对人们来说是直观的并且有追随者，但我没想到它会变得如此受欢迎。
Sandhini Agarwal：看到人们开始如此广泛地使用它，我们所有人都感到惊讶。
我们花了太多时间研究这些模型，以至于我们常常忘记它们对外界来说是多么令人惊奇。
Liam Fedus：我们没想到这个产品会如此受欢迎。
毕竟，之前有很多人尝试过开发通用聊天机器人，而且我知道成功的机会很小。
然而，我们的私人测试让我们相信我们有一些人们真正喜欢的东西。
Jan Leike：我很想更好地理解这背后的原因——是什么推动了所有这些病毒式行为。
说实话，我们不太明白。
该团队感到困惑的部分原因在于 ChatGPT 的大部分技术并不新鲜。
ChatGPT 是 OpenAI 几个月前发布的一系列大规模语言模型 GPT-3.5 的“精炼版”。
GPT-3.5本身是GPT-3的更新版本，出现在.该公司在其网站上为这些模型提供了应用程序编程接口（API），允许其他软件开发人员轻松地将这些模型集成到他们自己的代码中。
OpenAI 还发布了 GPT-3.5 的“预览版”，于 1 月份在 InstructGPT 上发布。
但该技术的这些早期版本都没有像 ChatGPT 那样向公众推出。
Liam Fedus：ChatGPT 模型是根据与 InstructGPT 相同的语言模型进行微调的，我们使用类似的方法对其进行微调。
我们添加了一些对话数据并稍微调整了训练过程。
因此，我们不想过分夸大它并声称这是一项重大的根本性进步。
但事实证明，对话数据对 ChatGPT 有着巨大的积极影响。
John Schulman：从标准基准评估的角度来看，这些模型之间的底层技术实力实际上没有太大区别，但 ChatGPT 更容易访问和使用。
Jan Leike：从某种意义上来说，你可以将ChatGPT视为我们已经发布了一段时间的AI系统版本之一。
在引擎盖下，它并不比以前的型号好多少。
在 ChatGPT 发布前近一年，相同的基本模型已经提供了 API。
另一方面，我们让它更符合人们想做的事情。
它通过对话与您交流，聊天界面易于使用，并且它试图成为一个有用的工具。
这是惊人的进步，我认为这就是人们意识到的地方。
John Schulman：它更容易推断意图，用户可以通过重复的沟通来达到他们想要的目的。
ChatGPT 的训练方法与 InstructGPT 非常相似，都使用了一种名为“人工反馈强化学习（RLHF）”的技术。
这是ChatGPT的王牌。
其基本思想是采用一个大型语言模型，该模型往往会输出它想要的任何内容（在本例中为 GPT-3.5），并教会它通过学习人类用户的偏好来做出响应，从而允许进行细粒度的调整。
Jan Leike：我们有一个大型团队，负责读取 ChatGPT 提示和响应，以确定一个响应是否优于另一个响应。
然后将所有这些数据合并到一个训练步骤中。
其中大部分是我们在 InstructGPT 所做的。
你希望它真正发挥作用，你希望它说实话，你希望它无害。
然后它还具有一些专门用于生成对话和充当助手的品质。
例如，如果用户的查询指令不够清晰，就应该跟进一个问题。
还应该明确它是一个人工智能系统，不应该假设它不具有的身份，也不应该表明它具有它不具备的能力。
当用户要求它执行不应该执行的任务时，它必须明确拒绝。
这次训练中出现的一句话是“作为OpenAI训练的语言模型”。
这个提醒并不是硬性规定，但却成为人类审稿人给予高度评价的一点。
桑迪尼·Agarwal：就是这样。
人类评审员必须根据一系列标准（例如真实性）对模型进行评级。
但他们开始倾向于做他们认为正确的事情，比如不假装理解。
由于ChatGPT使用了OpenAI使用的技术，因此团队在向公众发布模型时没有做任何特殊准备。
他们认为他们已经为之前的型号设定了足够高的标准。
Sandhini Agarwal：在准备发布时，我们并不认为该模型是一个新的威胁。
GPT-3.5 已经存在很长时间了，我们知道它足够安全。
而ChatGPT通过对人类偏好的训练学会了自行拒绝，拒绝了很多请求。
Jan Leike：对于ChatGPT，我们确实做了一些额外的“红队测试”（译者注：全面的攻击模拟以发现系统漏洞），OpenAI 的每个人都坐下来试图“打破”模型。
我们有外国球员也在做同样的事情。
我们对老用户进行了早期访问测试，他们向我们提供了反馈。
Sandhini Agarwal：我们确实发现它产生了一些（人们）不想要的输出，但是 GPT-3.5 也产生了这些东西。
就风险而言，这是一个研究预览，这就是它首先发布的原因，所以这并不是什么大问题。
John Schulman：你不能等到你的系统完美之后才发布它。
我们已经对早期版本进行了几个月的测试，参与者对该产品印象深刻。
我们最关心的是它的准确性，因为这个模型喜欢捏造事实。
但InstructGPT等大规模语言模型已经可用，所以我们认为只要ChatGPT在准确性和其他安全问题上优于前者，我们推出它应该没有问题。
在发布之前，我们确信这些模型在准确性和安全性方面似乎比其他模型更好，因此基于我们有限的评估，我们做出了发布的决定。
自发布以来，OpenAI 一直在观察人们如何使用它，首次了解大型语言模型在交付到数千万用户手中时的表现，这些用户可能想要测试其极限并发现其缺陷。
该团队试图捕获 ChatGPT 最有可能导致问题的实例，并使用它们来优化模型的未来版本。
Sandhini Agarwal：我们还有很多后续步骤。
我坚信，ChatGPT 的病毒式传播将使我们已经知道并迫切需要解决的许多问题浮出水面并变得更加紧迫。
例如，我们知道该模型仍然存在偏差。
是的，ChatGPT 非常擅长拒绝不良请求，但它也很容易受到提示词的影响，使其只接受这些请求。
Liam Fedus：观察用户提供的丰富且创新的用例令人兴奋，但我们一直在寻找需要改进的领域。
我们相信，通过部署、获取反馈和持续改进的迭代过程，我们可以生产出最受需求和最强大的技术。
随着我们的技术不断发展，新问题不可避免。
Sandhini Agarwal：自 ChatGPT 发布以来的几周内，我们研究了用户发现的几个最糟糕的情况，我的意思是人们可以看到的最糟糕的情况。
我们首先评估每个案例并讨论如何解决它。
Jan Leike：有时[这些案例]是在 Twitter 上广泛分享的事件，有时人们选择私下联系我们。
SandhiniAgarwal：我们发现很多问题其实就是上面提到的越狱行为，这是我们迫切需要解决的。
但既然用户费了九牛二虎之力让ChatGPT说脏话，我们之前也不是没有忽视它，我们也并不太惊讶。
尽管如此，这是我们目前正在积极解决的问题。
当我们发现越狱行为时，我们会将它们添加到我们的训练和测试数据中。
我们看到的所有数据都将成为未来模型的一部分。
Jan Leike：每当我们有更好的模型时，我们都想将其推出并进行测试。
我们坚信，一些有针对性的对抗训练可以极大地改善越狱情况。
目前还不清楚这些问题是否会完全消失，但我们认为我们可以让越狱变得更加困难。
再说一遍，我们并不是没有意识到在发布之前越狱的可能性。
只是我觉得一旦部署了，就很难预测哪些行为会成为安全风险。
因此，我们专注于监控人们使用该系统的目的，了解发生了什么，然后做出响应。
并不是我们不主动去解决问题。
但当一个系统连接到现实世界时，我们无法预见所有可能的情况。
今年 1 月，微软宣布了 Bing Chat，这是一个搜索聊天机器人，很多人认为是 OpenAI 未发布的 GPT-4 版本（OpenAI 表示 Bing 是由我们的下一代模型驱动的，而微软是专门针对搜索场景设计的。
定制化，结合了ChatGPT和GPT-3.5的优点。
著名科技巨头对聊天机器人的使用给负责构建底层模型的人带来了新的挑战。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-18
06-17
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态