疫情影响下的MWC：赞助商退出、湖北人员被禁止入场、参与者“不握手”
06-17
轰动全球的大型电视剧《奥特曼去哪儿》已经落下帷幕，但OpenAI的麻烦还没有结束。
萨姆·奥尔特曼能够在短时间内复职，这与微软的繁忙日程密不可分。
今年以来，微软一直在帮助好兄弟做大做强。
他们不仅追加投资1亿美元，还大规模调动微软研究院的人力，要求他们放下手头的基础科研项目，全力将GPT-4等基础大模型变成产品并用 OpenAI 武装它们 [1]。
但很多人不知道的是，今年 9 月，微软研究院院长 Peter Lee 收到了一个秘密项目，旨在创建 OpenAI 的替代品。
第一个“去OpenAI”的是微软最大的样板应用Bing Chat。
据 The Information 报道，微软正试图用自研版本逐步取代原本集成到 Bing 中的大型 OpenAI 模型。
在 11 月的 Ignite 开发者大会上，微软宣布 Bing Chat 将更名为 Copilot。
目前的市场定位与ChatGPT颇为相似——很难不去想太多。
新的副驾驶 不过，微软的初衷并不是认为OpenAI的技术能力有缺陷，也没有预见到OpenAI管理上的差异。
真正的原因有点哭笑不得：因为OpenAI的技术能力太强了。
开兰博基尼送餐 促使微软开发自己的大型模型的机会是 OpenAI 的失败 [3]。
当 ChatGPT 在全球引起轰动时，OpenAI 的计算机科学家正忙于一个代号为 Arrakis 的项目，希望建立一个基于 GPT-4 的稀疏模型。
这是一种特殊的非常大的模型：在处理任务时，只有模型的某些部分被激活。
例如，当用户需要生成摘要时，模型会自动激活最适合该工作的部分，而不必每次都调动整个大型模型。
与传统的大型模型相比，稀疏模型具有更快的响应速度和更高的精度。
更重要的是，它可以大大降低推理成本。
翻译成人类语言，杀鸡不再需要用砍刀——这就是微软所看重的。
Google 对稀疏模型优点的总结。
当舆论谈论大型模型的成本时，他们总是谈论7或8位数的训练成本和天文数字的GPU支出。
但对于大多数科技公司来说，模型训练和数据中心建设只是一次性的资本支出，这并非不可接受。
相比之下，日常运营所需的昂贵推理成本是阻碍科技公司走得更远的第一道障碍。
因为一般情况下，大模型并不像互联网那样具有明显的规模效应。
用户的每一个查询都需要一次新的推理计算。
这意味着，使用产品的用户越来越密集，科技公司的算力成本将会呈指数级增长。
此前，微软基于GPT-4改造大型模型应用GitHub Copilot，辅助程序员编写代码，收费10美元/月。
据《华尔街日报》称，由于昂贵的推理成本，GitHub Copilot 平均每人每月损失 20 美元，重度用户甚至可以让微软每月损失 80 美元[5]。
GitHub Copilot 的大模型应用入不敷出是促使微软开发自己的大模型的主要原因。
OpenAI 的大型模型在技术上还很遥远*，并且长期处于各大榜单的前列，但使用起来价格昂贵。
一位人工智能研究人员做了一个计算。
理论上，GPT-3.5的API价格几乎是开源模型Llama 2-70B的推理成本的3-4倍，更不用说全面升级的GPT-4[6]。
不过，除了代码生成、解决复杂数学问题等少数场景外，大部分工作其实都可以交给参数更小的版本和开源模型。
初创公司 Summarize.tech 就是一个活生生的例子。
其业务是提供总结音频和视频内容的工具。
它拥有约20万月活跃用户，早期使用GPT-3.5来支持其服务。
后来该公司尝试用开源的 Mistral-7B-Instruct 替换底层大模型，发现用户没有感知到差异，但每月的推理成本从美元降低到不到美元[7]。
换句话说，OpenAI无差别地为客户提供强大的兰博基尼，但大多数客户的业务实际上是送餐——这构成了OpenAI的“远程*问题”。
因此，不仅是微软，Salesforce、Wix等OpenAI的早期主要客户也纷纷用更便宜的技术解决方案取而代之。
降低推理成本，让“开奥迪比雅迪便宜”成为OpenAI必须解决的问题。
这就是上面提到的稀疏模型项目Arrakis诞生的原因。
事实上，不仅是OpenAI，谷歌也在从事相关研究并取得了进展。
在 8 月份的 Hot Chips 会议上，谷歌首席科学家、前谷歌大脑负责人 Jeff Dean 在演讲中提到，稀疏化将是未来十年最重要的趋势之一[8]。
Jeff Dean 还发表了一篇关于稀疏模型的论文。
正是缘缘*带来的高昂成本，让微软考虑了“自力更生”的可能性。
OpenAI 其实也注意到了这个问题：在 11 月 6 日的开发者大会上，OpenAI 推出了 GPT-4 Turbo，一举将价格下调了 1/3，已经低于 Claude 2 这个大型闭源模型了。
最大的竞争对手 Anthropic。
OpenAI的“兰博基尼”虽然不够便宜，但至少比其他汽车便宜很多。
不幸的是，11天后，这一努力因一场值得载入科技史册的闹剧而大打折扣。
据外媒报道，在奥特曼与 OpenAI 董事会协商回归的周末，有超过 100 名客户联系了友好公司 Anthropic[10]。
商业化的悖论 即使没有这场内乱，OpenAI 的客户流失危机可能仍然存在。
这要从OpenAI的模型和产品设计思路说起：前不久，OpenAI向开发者社区推出了重磅产品GPT。
用户可以使用自然语言定制具有不同功能的聊天机器人。
截至奥特曼复职之日，用户已上传0个不同功能的GPT聊天机器人，日均产出+，活跃程度堪比大型社区[11]。
功能各异的GPT 众所周知，GPT模型并不开源，存在“远程*问题”。
但对于个人开发者和小型企业来说，OpenAI 有两个开源模式无法比拟的优势：一是开发门槛低，可以开箱即用。
在海外论坛上，一些使用OpenAI基础模型进行开发的小团队会将自己的产品形容为“包装器”。
由于GPT模型强大的通用能力，他们有时只需要为模型开发一个UI，然后找到适用的场景即可获得订单。
如果开发者需要进一步对模型进行微调，OpenAI还提供了一种轻量级的模型微调技术，称为LoRA（Low Rank Adaptation）。
简单来说，LoRA的总体原理就是先“拆解”大模型，然后针对指定任务进行自适应训练，从而提高大模型在任务下的能力。
LoRA主要侧重于模型内部结构的调整，不需要太多的行业数据进行微调。
但在定制开源模型时，开发人员有时会使用全面的微调。
虽然它在特定任务上表现更好，但全面的微调需要更新预训练大模型的每个参数，这需要极高的数据量。
相比之下，OpenAI模式显然对普通开发者更加友好。
LoRA原理示意图。
其次，前面提到大模型不存在尺度效应，但这句话其实有一个前提——那就是当有足够的计算请求时。
测试表明，每批次向服务器发送的计算请求越少，算力利用效率就会降低，从而导致单次计算的平均成本线性增加[6]。
OpenAI可以一次性捆绑并发送来自所有客户的数百万计算请求，但个人开发者和中小企业很难做到这一点，因为没有那么多活跃用户。
简单来说，就像送快递一样。
同样，从上海到北京，OpenAI的客户很多，可以一次性送货；其他型号无法提供如此多的交付量。
咨询公司 Omdia 的分析师评论说，OpenAI 从规模效应中获益远远多于大多数在 AWS 或 Azure 上托管小型开源模型的初创企业 [14]。
因此，虽然“ChatGPT一更新一批小公司就被消灭”的现象客观存在，但不少开发者还是愿意去赌一把。
PDF.ai的创始人Damon Chen就是直接受害者。
PDF.ai的主要功能是让模型读取PDF文件。
于是，ChatGPT也在10月底更新了这一能力。
但陈达蒙却很淡然：“我们的使命不是成为另一家独角兽，年收入几百万美元就够了。
” 但对于财力极其雄厚的大公司来说，OpenAI的这些优势都变成了劣势。
例如，OpenAI 在轻量级开发方面具有优势，但随着企业不断深入场景，需要进一步定制，很快就会再次面临“远程*问题”：由于 GPT-4 过于复杂和庞大，深度定制难以实现。
需要花费*一万美元和几个月的开发时间。
相比之下，完全微调一个开源模型的成本通常是数十万美元，显然不是同一个数量级。
另外，微软、Salesforce等大客户本身就有足够的计算请求，没必要和别人争来降低成本。
这使得OpenAI在成本方面失去了所有优势。
即使对于初创企业来说，随着用户数量的不断增加，使用 OpenAI 模型的成本效益也会降低。
如前所述，Summarize.tech 是一家月活跃用户达 20 万的初创公司，成功使用开源 Mistral-7B-Instruct 降低了 50% 以上的成本。
要知道，7B参数的小型开源模型也可以运行在“老古董”Nvidia V上——这款GPU于2009年发布，甚至还没有被列入美国芯片出口管制清单。
Summarize.tech 从商业角度来看，能够支撑公司营收的，是财力雄厚的大公司。
如何抓住那些“野心在几年以上赚到数百万美元”的客户，是OpenAI必须面对的命题。
闪点事件 OpenAI“面临商业化问题”似乎有些奇怪。
毕竟，直到今年年初，与赚钱相关的问题还远远没有出现在 OpenAI 的议程上，更不用说任何开发者大会了。
今年3月，OpenAI总裁格雷格·布罗克曼（Greg Brockman）——上周与奥特曼一起被解雇的大哥——接受了采访。
他坦言，OpenAI还没有真正考虑过在垂直领域构建通用工具或大型模型应用。
尽管尝试过，但它不符合 OpenAI 的 DNA，而且他们的心也不在那里 [17]。
经过四天半的闹剧，布罗克曼也再次回归。
这里的DNA实际上指的是一种纯粹理想主义的科学家文化，他们保护人类免受超级智能的威胁。
毕竟，OpenAI 的基础很大程度上是基于 2006 年马斯克和奥特曼的“联合宣言”——一条更安全的 AI 道路将掌握在不受盈利动机污染的研究机构手中”[18]。
在理想主义的号召下，OpenAI 成功招募到了以 Ilya Sutskever 为首的科学家团队——尽管奥特曼当时提供的薪资还不到 Google 的一半，而让 OpenAI 开始改变的一个关键因素是 ChatGPT 的发布。
最初，OpenAI 领导者并没有将 ChatGPT 视为商业产品，而是称其为“低调的研究预览”，目的是收集普通人与人工智能交互的数据，为 GPT-4 的未来发展提供帮助。
换句话说，OpenAI没有想到ChatGPT会如此受欢迎。
出人意料的人气爆炸改变了一切，促使奥特曼和布罗克曼转向加速主义。
所谓加速主义可以简单理解为对AGI商业化抱有无限热情，准备快速进入第四次工业革命。
与此相对应的是安全主义，主张以谨慎的态度发展人工智能，时刻权衡人工智能对人类的威胁。
一位不愿透露姓名的OpenAI员工在接受《大西洋月刊》采访时表示，“ChatGPT之后，收入和利润有了清晰的路径。
你不能再捍卫“理想主义研究实验室”的身份。
那里有客户在等待服务[20]。
”ChatGPT也催生了“科技界最好的兄弟情谊”。
这一转变让OpenAI进入了一个陌生的领域——不断将研发成果转化为受欢迎的产品。
曾经标榜理想主义的象牙塔公司，这份工作显然太“脚踏实地”了，比如技术负责人伊利亚（Ilya），他之前在谷歌主要负责理论研究。
产品实现的责任在于 Jeff Dean 领导的 Google Brain 团队。
在 ChatGPT 发布之前，OpenAI 更像是一个由少数拥有自由财富的科学家和工程师组成的小工作室，但随着时间的推移，他们已经变成了一个小工作室。
过去一年，OpenAI 已经雇佣了数百名新员工，以加速商业化进程，根据 The Information 的报道，OpenAI 的员工总数可能会超过 1000 人。
即使不考虑赚钱，也得想办法应对运营成本——毕竟科学家也要还房贷。
短暂而暴力的“奥特曼去哪儿”事件并没有解决这个问题，反而让问题变得更加尖锐：OpenAI到底是一个什么样的组织？ 在接受 CNBC 采访时，马斯克曾这样描述他创立的后来被踢出的公司：“我们成立了一个组织来拯救亚马逊雨林，但后来它变成了木材生意，把森林砍伐了，然后出售了[18]。
”这种矛盾让OpenAI陷入了渊源*，也催生了这场惊掉所有人下巴的闹剧。
今年早些时候，《连线》杂志记者跟踪奥特曼一段时间，期间多次提出这个问题，但奥特曼每次都坚称“我们的使命没有改变”。
但当信奉安全主义的伊利亚滑倒跪地、奥特曼回来时，很明显OpenAI已经做出了选择。
参考资料 [1] 随着 AI 成本飙升，微软如何努力减少对 OpenAI 的依赖，信息 [2] Microsoft 将 Bing Chat 更名为 Copilot，以更好地与 ChatGPT 竞争，The Verge [3] OpenAI 放弃了新“Arrakis”的工作人工智能模型遭遇罕见挫折，信息 [4] GPT-4 架构、基础设施、训练数据集、成本、愿景、MoE、半分析 [5] 大科技公司努力将人工智能炒作转化为利润，华尔街日报 [6] 为什么GPT-3.5（大部分）比 Llama 2 便宜，Aman [7]OpenAI 的企业销售受到微软的压力，因为 AI 客户关注更便宜的选择，信息 [8]?下一代 AI 硬件性能将更加困难，下一个平台 [ 9] OpenAI 对其他 AI 初创公司的“灭绝事件”，信息 [10] OpenAI 的客户考虑叛逃到 Anthropic、微软、谷歌，信息 [11] GPT 猎人 [12] 如何让开源 AI 比 OpenAI 更便宜，T资料[13]图解大模型微调系列：大模型低阶适配器LoRA（原理）、Raptor[14]开源vs封闭模型：运行AI的真实成本、AI商业[15]Why a New OpenAI 产品售价 200 万美元，The Information [16]“红色婚礼”之后，生成式 AI 仍然走在前列，我认为锅已经到了 [17]OpenAI 总裁对马斯克的批评：“我们犯了一个错误”，The Information [18] OpenAI 真正想要什么，连线 [19] 深度学习革命，Cade Metz [20] OpenAI 的混沌内部，大西洋月刊 【本文由投资界合作伙伴元川科技评论授权。
本平台仅提供信息存储服务】如有疑问，请联系（）投资社区处理。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-17
06-17
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态