关于组织2022年省级专精特新中小企业申报认定和2019年省级专精特新企业审核的通知
06-18
今天早上，一份谷歌泄露的文件在SemiAnalysis博客上流传，声称开源AI将打败谷歌和OpenAI，赢得最后的胜利。
“我们没有护城河，OpenAI也没有”的观点引发热议。
据彭博社报道，这篇文章《作者是谷歌高级软件工程师LukeSernau》4月初在谷歌内部发表后，被转发数千次。
自称为人工智能优先的谷歌近几个月来一直在经历挫折。
2月份，谷歌巴德公开演示出错，市值蒸发千亿。
3月份，将AI融入办公场景的Workspace发布，但集成GPT-4的Copilot却抢尽风头。
在追赶潮流的过程中，谷歌始终谨小慎微，未能抓住机会。
在这背后，谷歌CEO皮查伊更喜欢渐进式的改进，而不是大刀阔斧的产品改进。
一些高级管理人员不服从他的命令，也许是因为权力根本不在皮查伊手中。
如今，谷歌联合创始人拉里·佩奇虽然不再参与谷歌内部事务，但他仍然是Alphabet董事会成员，并通过特殊股票控制公司。
近几个月他还参加了多次内部人工智能战略会议。
。
谷歌面临的每一个问题都很困难：CEO保持低调，联合创始人拉里·佩奇通过股权控制公司； “开发产品但不发布产品”的谨慎态度让谷歌多次失去机会；变得更加视觉化、更具互动性的互联网对谷歌搜索构成了威胁；许多人工智能产品在市场上表现不佳。
内忧外患之下，谷歌笼罩在类似于学术或政府机构的企业文化之中，官僚主义气息浓厚，高层管理者总是规避风险。
我们对全文进行了整合和翻译。
对于谷歌来说，开源也许不是压垮骆驼的最后一根稻草，而是它的救命稻草。
核心信息提炼。
谷歌和 OpenAI 都不会赢得这场竞争。
获胜者将是开源人工智能。
开源AI采用极低成本、高速迭代，已经赶上了ChatGPT的实力。
数据质量远比数据数量重要。
与开源AI竞争的结果。
，必然会失败。
谷歌需要开源社区，胜过开源社区需要谷歌。
谷歌没有护城河，OpenAI 也没有。
我们一直在关注OpenAI的动向。
谁将达到下一个里程碑？下一步是什么？但我们不得不承认，我们和 OpenAI 都没有赢得这场比赛。
在我们竞争的同时，第三方势力取得了优势。
我说的是开源社区。
简而言之，他们超越了我们。
我们认为的“大问题”现在已经解决并投入使用。
举几个例子：手机上的LLM：人们可以在Pixel 6上以每秒5个代币的速度运行基本模型；可扩展的个人人工智能：您可以在一晚上内在笔记本电脑上微调个性化人工智能；负责任的发布：这个问题不是“解决”而是“消除”。
互联网充满了无限的艺术模型，语言模型也随之而来；多模态：目前的多模态ScienceQA SOTA可以在一小时内完成训练。
虽然我们的模型在质量方面仍然具有优势，但差距正在以惊人的速度缩小。
开源模型更快、更可定制、更私密且性能更高。
他们用一亿美元、一亿美元的参数，做到了我们用一万美元、一亿美元的参数很难做到的事情。
他们在几周内完成，而不是几个月。
这对我们意味着什么：我们没有秘密武器。
我们最好的方法是向 Google 以外的其他人学习并与之合作，并且支持第三方集成应该是一个优先事项。
当有免费、无限的替代品时，人们不会为受限的模型付费，我们应该考虑我们的真正价值在哪里。
巨大的模型正在减慢我们的速度。
从长远来看，最好的模型是那些可以快速迭代的模型。
既然我们知道少于 1 亿个参数的可能性，我们应该更多地关注小变体。
开源社区欢迎 LLaMA。
今年3月初，开源社区首次收到了来自Meta的真正强大的基础模型LLaMA。
它没有指令或对话调整，也没有强化学习人类反馈（RLHF），但社区仍然立即认识到 LLaMA 的重要性。
随后出现了巨大的创新浪潮，每次重大发展之间只有几天的时间（请参阅文章末尾的时间表）。
一个月后，已经出现了指令调优、量化、质量改进、人工评估、多模态、RLHF 等变体，其中许多都是相互依赖的。
最重要的是，他们解决了规模问题，让任何人都可以参与，很多新想法都来自普通人。
实验和培训的门槛已从大型机构降低到一个人、一个晚上或一台功能强大的笔记本电脑。
LLM 的稳定扩散时刻 从很多方面来说，这对任何人来说都不应该感到惊讶。
当前开源法学硕士的复兴紧随图像生成的复兴之后。
这种相似性并没有被社区忽视，许多人称其为法学硕士的“稳定扩散时刻”。
在这两个案例中，都实现了低成本的公众参与，因为一种名为低阶适应（LoRA）的微调机制显着降低了成本，再加上规模上的重大突破（图像合成的潜在扩散，LLM的Chinchilla）。
在这两种情况下，开源社区的规模都很快超过了大型参与者。
这些贡献在图像生成领域发挥了关键作用，使稳定扩散走上了与 Dall-E 不同的道路。
拥有开源模型可以带来产品集成、市场、用户界面和创新，而 Dall-E 则没有实现这一点。
效果非常明显：就影响力而言，Stable Diffusion 迅速主导了 OpenAI 的解决方案，使得前者逐渐变得越来越无关紧要。
LLM 是否会发生同样的情况还有待观察，但基本结构要素是相同的。
谷歌不应该错过它。
开源社区最近的创新成功直接解决了我们仍在努力解决的问题。
关注他们的工作可以帮助我们避免重新发明轮子。
LoRA是一项值得我们关注的强大技术。
LoRA 的工作原理是将模型更新表示为低秩分解，从而将更新矩阵的大小减少数千倍。
这大大减少了模型微调的成本和时间。
在消费级硬件上在几个小时内个性化语言模型是一件大事，特别是对于涉及近实时集成新的、多样化的知识的愿景而言。
尽管这项技术直接影响了我们一些最雄心勃勃的项目，但它在 Google 内部并未得到充分重视。
从头开始训练模型之所以不如 LoRALoRA 有效，是因为它的微调是可叠加的。
例如，可以直接应用指令调整等改进，然后在其他贡献者添加对话、推理或工具使用时加以利用。
虽然各个微调是低等级的，但它们的总和却不是，从而导致全等级更新。
这意味着，随着新的、更好的数据集和任务的出现，模型可以以低廉的成本保持更新，而无需支付完全运行它的成本。
相比之下，从头开始训练一个巨大的模型不仅会丢弃预训练，还会丢弃已经进行的迭代更新，而在开源世界中，这些改进可以很快生效，从而使全面的重新训练变得异常昂贵。
我们应该认真考虑一个新的应用程序或想法是否真的需要一个全新的模型来实现。
如果模型架构的改变导致无法直接应用训练好的模型权重，那么我们应该积极使用蒸馏技术来尽可能保留之前训练好的模型权重带来的能力。
注：模型训练的结果是模型权重文件；蒸馏是一种简化大型模型的方法。
快速迭代，使小模型比大模型更好 LoRA 更新对于最流行的模型尺寸来说非常便宜（?$）。
这意味着几乎任何人都可以制作和分发模型。
不到一天的训练时间是常态，按照这样的速度，所有这些微调的累积效果很快就能弥补起始尺寸的劣势。
事实上，从工程师的角度来看，这些模型的改进速度比我们最大的模型要快得多，而且最好的模型已经与 ChatGPT 本质上没有区别。
专注于维护地球上一些最大的模型实际上使我们处于不利地位。
数据质量比数据大小更重要。
许多项目通过在小型、精心策划的数据集上进行训练来节省时间。
这说明数据扩展规律具有一定的灵活性。
这些数据集沿着 《数据并非你所想 (Data Doesn t Do What You Think)》 的思路存在，它们正迅速成为 Google 之外训练的标准方式。
这些数据集是使用合成方法（例如，从现有模型中过滤最佳响应）构建的，并从其他项目获得，而这两个项目在谷歌都不占主导地位。
幸运的是，这些高质量的数据集是开源的，因此可以免费使用。
与开源竞争是注定失败的。
最近的发展对我们的业务战略产生直接、即时的影响。
如果有免费、高质量、无限制的替代品，谁会选择使用有限且付费的 Google 产品？我们不应该指望能够赶上。
现代互联网依赖于开源，它具有我们无法复制的重要优势。
谷歌需要开源，而不是它需要开源。
我们很难保证技术秘密的保密性。
一旦谷歌的研究人员转向其他公司，我们就应该假设其他公司拥有我们所知道的所有信息。
而只要有人离开公司，问题就无法解决。
如今，保持技术竞争优势变得更加困难，世界各地的研究机构正在相互学习，并以广度优先的方式探索解决方案空间，这远远超出了我们自己的能力。
我们可以尝试保守秘密，但进行外部创新，这会削弱它们的价值，或者我们可以尝试互相学习。
与公司相比，个人受到的许可证限制较少。
许多创新都是基于元泄漏模型。
虽然随着真正的开源模型变得更好，这种情况肯定会改变，但重点是它们不需要等待。
对“个人使用”的法律保护以及起诉个人的实际困难意味着，尽管这些技术很热门，但每个人都可以使用它们。
成为您自己的客户意味着了解用例当浏览人们使用图像生成领域创建的模型时，您可以看到大量的想法涌现，从动画生成器到 HDR 景观。
这些模型是由那些深深沉浸在其特定子流派中的人们使用和创建的，赋予他们知识的深度和共鸣，这是我们永远无法实现的。
拥有生态系统：让开源为谷歌服务 矛盾的是，这一切中唯一的赢家是 Meta。
因为泄露的模型是他们的，所以他们实际上在世界各地获得了大量的免费劳动力。
由于大多数开源创新都是建立在其架构之上的，因此没有什么可以阻止他们将其直接整合到他们的产品中。
拥有生态系统的价值是不言而喻的。
谷歌本身已经在其开源产品（如 Chrome 和 Android）中成功地使用了这种范例。
通过拥有创新发生的平台，谷歌巩固了自己作为思想领袖和方向提供者的地位，获得了塑造超越自己的想法的能力。
我们对模型的控制越严格，人们对开源替代品就越感兴趣。
Google 和 OpenAI 都倾向于采用防御性发布模型，以保持对模型使用方式的严格控制。
但这种控制是虚幻的，任何想要将LLM用于未经授权的目的的人都会选择免费提供的模型。
谷歌应该将自己打造成开源社区的领导者，并通过协作来领导社区。
这可能意味着采取令人不安的措施，例如发布小型 ULM 变体的模型权重。
这必然意味着放弃对我们模型的一些控制。
但这种妥协是不可避免的。
我们不能指望同时推动创新和控制创新。
OpenAI的未来在哪里？这些关于开源的讨论可能会让人觉得不公平，因为 OpenAI 目前的政策是封闭的。
如果他们不分享，我们为什么要分享？但事实是，我们通过源源不断的高级研究人员与他们分享了一切。
在我们阻止这种流失之前，保守秘密是没有意义的。
最终，OpenAI 并不重要。
他们在开源立场上犯了和我们一样的错误，他们保持优势的能力必须受到质疑。
除非他们改变立场，否则开源替代方案最终将取代并超越它们。
至少在这里我们可以领先。
这篇文章在推特等社交平台上引起广泛关注。
德克萨斯大学教授 Alex Dimakis 得到了很多人的认可：我同意开源 AI 正在获胜的观点，这对世界影响很大，竞争也很激烈。
这对于生态系统来说是一件好事。
虽然在LLM领域还没有做到，但是我们用Open Clip打败了OpenAI Clip。
稳定扩散确实比封闭模型要好；你不需要庞大的模型，高质量的数据更重要，API背后的羊驼模型被进一步弱化。
护城河已被清理；从一个有良好基础的模型和参数有效微调（PEFT）算法开始，比如Lora，一天之内就可以运行得很好，算法创新的大门终于打开了；大学和开源社区应该组织更成熟的数据集来训练基本模型并建立像Stable Diffusion这样的社区。
但与此同时，很多人对开源AI的能力持怀疑态度，称其距离ChatGPT还很远。
但无论怎样，开源AI降低了大家参与研究的门槛，我们也希望谷歌能够抓住机遇，“抢占先机”。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-21
06-17
06-17
06-21
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态