梵志医疗完成数千万元B1轮融资
06-18
OpenAI Corporation 及其大型模型产品 ChatGPT* 有什么共同点？ 人们知道每天发生了什么，但不知道如何发生。
我们使用大型人工智能模型，并对它给出的每一个响应感到惊讶，但还没有人弄清楚人工智能是如何工作的。
为了保证大模型能够按照人类的意愿工作，几乎每个大模型产品都会注入算法。
该算法确保人工智能工作符合人类意愿。
不同的力量试图联合公司，伊利亚·苏茨克韦尔（Ilya Sutskever）成为“持剑者”，萨姆·奥尔特曼（Sam Altman）进行反击。
双方的两种立场，让这家大型AI模型公司内部的分歧凸显出来。
这种分歧会体现在理念、公司方向、利益和资源配置、产品市场表现等方面。
对于大型初创公司来说，关注分歧更有意义。
技术追求和商业扩张主导着商业实体的增长。
OpenAI 和大多数商业公司一样，长期以来一直在两种力量之间保持着微妙的平衡，直到 11 月 17 日，天平发生了倾斜。
这种平衡是如何维持的？围绕人工智能有哪些分歧？裂缝是如何扩大的？ ChatGPT现象让世界意识到大型模型、变形金刚等新事物，但另一股发挥关键作用的力量——人工智能对齐却被忽视了。
1. 被忽视的算法 OpenAI 在第一代 GPT-3 上喂养了 1 亿个单词的语料库，该语料库有 1 亿个参数。
这样训练出来的模型就像一个掌握了世界知识的孩子。
他知道很多，但沟通有困难。
让OpenAI在全球范围内突破圈子的ChatGPT来自GPT-3的变种。
它比GPT-3更稳定，可以更好地模拟人与人之间的正常对话。
ChatGPT 一经发布就成为了一款现象级产品。
此前，GPT-3的API已经上市很长一段时间，但只引发了小范围的讨论。
实现ChatGPT的关键技术是RLHF算法——基于人类反馈的强化学习。
GPT-3 在与人沟通时给出的答案质量参差不齐。
OpenAI通过人工干预来标记高质量答案的积极反馈，从而强化GPT以做出更多高质量的答案。
这样的工作取得了意想不到的效果，ChatGPT 具有对对话历史进行建模、增加对话信息量、拒绝回答课外问题的能力。
RLHF算法就像一位家长，帮助已经掌握知识的孩子学会顺利地沟通和表达。
需要强调的是，RLHF 并不是注入额外的能力，而是帮助大模型解锁能力。
例如，当ChatGPT拒绝回答问题时，它会以统一的开头回复：“作为OpenAI训练的语言模型”。
由于这句话在 RLHF 训练过程中收到了比较积极的反馈，因此被 ChatGPT 作为标准模板。
事实上，并没有规定ChatGPT必须使用这句话。
OpenAI认为，没有RLHF，ChatGPT的突破也是可能的。
RLHF算法的工作称为AI对齐。
人工智能一致性是指确保人工智能按照人类意图和价值观做事，给出对人类有用、诚实且无害的结果。
对齐已成为当今大型模型训练运行中最必要的部分之一。
除了上面提到的ChatGPT的例子之外，AI对齐还需要解决AI在沟通中给出错误信息和算法歧视、被人类滥用、“越狱”等问题，以及应对“突发事件”未来的人工智能能力。
可能存在失去控制的风险。
因此，人工智能联盟可以比作人类和人工智能进化之间的竞赛。
更强大的人工智能系统需要更多的调整工作，并面临更高水平的风险。
然而，大型AI模型的内部原理对于前沿AI实验室来说仍然是一个“黑匣子”，这需要AI对齐尽可能跑在大型模型之前，需要大型模型成为稳定的研究对象。
OpenAI超级对齐负责人Jan Leike预测，构建高性能的强AI系统需要两个因素：能力和对齐。
但在当前人工智能弱化时期，大型模型不具备带来灾难性后果的能力。
与GPT给人类带来的惊喜相比，AI对齐的重要性被低估了。
对齐算法会在大模型运行过程中分配部分算力资源，也会影响大模型的输出结果。
人们常将这种效应称为“性能阉割”，而从对齐中挪用的算力则称为“对齐税”。
2、CEO和首席科学家的区别。
回到OpenAI的闹剧，如果将OpenAI视为一个大的AI模型，萨姆·奥尔特曼主张提升能力，通过融资、商业化等运营吞噬巨大资源，追求变得更快更强。
Ilya Sutskever 领导的部门就像人工智能对齐一样存在，提倡小心、稳定地驾驶汽车。
随着大型人工智能模型的发展加速，OpenAI 意识到需要将对齐工作提升到一个新的水平。
今年7月，OpenAI宣布成立超级对齐团队（Superalignment），由两位科学家Ilya Sutskever和Jan Leike领导。
他们将在4年内利用公司20%的计算资源来解决超级智能AI系统的价值对齐和安全问题。
问题。
同时，Sam Altman 主导了 GPT 的演进，不断推动性能更强的 GPT 版本的发布。
可见，两个工作团队之间即使没有分歧，至少也存在紧张关系，裂痕可能从这里开始。
Ilya Sutskever 指责 Sam Altman 在与董事会的沟通中一贯不诚实，并阻碍了董事会履行职责的能力。
董事会的职责是确保OpenAI作为一个非营利组织能够开发出造福全人类的“通用人工智能AGI”。
今年剩下的六名董事会成员中有四人更加相信人工智能安全的重要性，Ilya Sutskever 能够利用他的投票权解雇 Sam Altman。
Ilya Sutskever曾提到，他参与创建OpenAI的动机之一是探索和解决AGI可能带来的问题，包括技术和伦理挑战。
当他看到或被告知这一挑战首先出现在公司内部而不是人工智能时，他就有理由为自己的信念行使权力，裂缝就会扩大。
但他从未具体举例说明萨姆·奥尔特曼在哪些方面不诚实以及会产生什么后果。
Ilya Sutskever 引发的争议就像是 AI 比对工作中被征收的“比对税”。
他暂时限制了OpenAI的能力，却无法在他眼中解释这种限制的必要性。
房间里有一头大象，只有少数人看到，但采取行动的人就更少了。
人们会根据自己的角色和价值观做出选择，因此不可避免地会出现分歧。
尽管 Sam Altman 在很多情况下都是 OpenAI 安全政策的倡导者，但我们不能问他的倡导是否是出于应对监管的需要，或者他是否真的看到了大象。
尽管 Ilya Sutskever 深知算力对于 AI 的重要性，看到 AI 更远的未来，他也只能将这个重要性放在价值排名的第二位。
事件最终的焦点指向了OpenAI的董事会，董事会在复杂的矛盾中只支持做出0和1的选择，在功能上与这家公司的价值观并不相符。
这场闹剧随着萨姆·奥尔特曼的回归而暂时结束，五天前罢免他的董事会也随之解散。
新董事会的原型将由三人组成，分别是Quora首席执行官Adam D'Angelo、前Facebook和Salesforce高管Bret Taylor以及前美国财政部长Lawrence H. Summers。
OpenAI 完成了对齐。
3、隐藏模型 AI对位虽然被大模型的体量所掩盖，但却暗中决定了大模型的命运。
GPT的发展和人类的反应一度超出了OpenAI的预期。
在很多研究人员看来，市面上的模型还远远不够完美，甚至还只是半成品。
他们担心生成式人工智能推向市场的速度和规模。
相应地，AI对齐的重要性已经成为OpenAI、DeepMind、Anthropic等前沿AI实验室的共识。
OpenAI超级比对工作负责人Jan Leike表示，企业很快就会拥有同等能力的预训练语言模型，AI比对将决定产品的竞争力。
影响竞争力的关键是“结盟税”。
简·雷克将“调整税”概括为三类：绩效税、研发税和上市时间税。
性能税：与未对齐的模型相比，对齐的模型在某些能力上表现较差，需要更多的计算资源来弥补性能。
开发税：对齐模型开发工作的成本，例如研究人员时间、计算资源、劳动力成本等。
部署时间税：从预训练模型到推出可用对齐模型的时间成本。
以绩效税为例。
由于比对模型在输出结果上较为“保守”，因此用户想要使用它来获得满意的结果需要更多的计算能力和更多的API调用。
因此，绩效税会影响产品定价。
，进一步影响用户规模。
Jan Leike用一个例子说明了这种相关性：OpenAI的DALL·E 2模型在市场规模上不如Stable Diffusion和Midjourney，因为后两种模型采用的对齐限制较少。
此外，随着大型模型的能力不断增强，原有的对齐技术可能会被AI绕过，对齐技术需要不断更新以跟上大型模型的迭代，这也可能导致研发税费和研发费用的增加。
发射时间税。
大型模型训练中人工智能对齐的存在远不只是“对齐税”。
OpenAI 中存在的裂痕进一步扩大。
用于训练ChatGPT的RLHF算法证明了对齐的价值，但它依赖于大量的人工参与，只能作为一个初级的对齐工具。
更复杂的人工智能操作将涉及大量需要干预的步骤，而这种对准工作只能由另一个或某些人工智能来完成。
也就是说，使用 AI 对齐模型来帮助对齐大型 AI 模型。
将 OpenAI Super Alignment 团队的工作视为开发 AI 对齐模型，将 AI 隐藏在实验室内，其中包含用于管理 AI 的最强大的 AI。
这涉及大型人工智能模型的“解剖”、人工智能对抗训练以及该人工智能对齐模型的对齐。
GPT等大型模型旨在处理自然语言，其输出结果可以被用户部分区分真假。
AI比对模型的输出结果将更加难以验证，越狱行为也会更加隐蔽，因此需要更严格的比对。
矛盾的是，Ilya Sutskever 认为大型模型发展太快并且存在安全问题，但他所做的工作比 Sam Altman 更激进。
4. 唾手可得的成果：人工智能能力的“出现”来自于训练量。
扩大训练规模成为了球员们坚信的方向，带来的结果就是天文数字的训练成本投入。
GPT-3将大模型的训练参数提升至千亿级，开启了大模型训练的规模竞争。
百度文信、阿里巴巴统一、华为盘古等领先企业的大模型训练量已同步达到千亿。
最新的GPT-4的参数规模达到了新的水平，达到了1000亿。
然而，有观点认为，训练规模给大型模型带来的边际效益呈递减趋势。
有人称之为“数字泡沫”或“人工智能版摩尔定律”。
AI比对工作的结果在一定程度上支持了这一观点。
OpenAI在博客中提到：安全性与大模型能力密切相关。
一方面，它强调了安全问题在人工智能演进中的重要性。
另一方面，也指出AI对齐训练是提升AI能力的隐秘路径。
后一种情况在InstructGPT中得到了验证。
与GPT-3相比，对齐后的InstructGPT输出结果更符合人类的要求。
InstructGPT减少了有害内容的产生，也可以给出更真实可靠的信息。
不仅如此，InstructGPT 使用的算力比 GPT-3 更少，其训练参数也减少了很多倍，仅为 13 亿个。
经历过OpenAI的闹剧后，赛道上的玩家可能会意识到，把所有成本都放在算力和规模上，太奢侈了。
在追求超大规模和超高计算能力的过程中，还有一些未被发现的唾手可得的成果。
而面对即将到来的淘汰赛，不同的选手将不得不在Ilya Sutskever和Sam Altman之间做出选择。
【本文经投资界伙伴电厂授权。
本平台仅提供信息存储服务。
】如有任何疑问，请联系投资界（）。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-06
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态