性能拖累？科创板上市三天，生益电子股价显疲态
06-17
的优质语料数据才是大型模型的“肉和面包”。
快结束了，没想到年底又曝出一个大瓜。
近日，《The Verge》报道：字节跳动因使用ChatGPT的API开发自己的大模型而被OpenAI“封杀”。
尽管事后，字节澄清其此举“仅用于测试”，并已被勒令停止。
不过，这毕竟是一件让人深思的事情……Byte的账??号被封禁背后到底有何算计？ 01 字节想要什么？ 虽然在《The Verge》报告中，并没有明确说明Byte是如何使用OpenAI的API来开发自己的大模型的，但从可能的训练路径来看，是用一个大模型（如OpenAI的GPT）来训练另一个大模型。
建模的过程通常有以下几种类型。
其中之一就是“师傅带徒弟”模式??。
想象一下，师傅（现有的大型模型）在处理各种任务时生成一些输出（例如文本、图像等）。
学徒（新的大模型）将观察师傅的行为并尝试模仿这些输出。
通过这种方式，学徒们可以学习如何处理类似的任务。
在实际应用中，这可以通过让新模型从旧模型生成的数据中学习来实现。
另一种方式是通过联合训练的方式，让“师傅”和“徒弟”共同处理任务。
在实际应用中，这可以通过让两个模型共享一些级别或参数来实现，这样新旧模型可以互相学习，互相帮助，共同完成任务。
从技术可行性来看，在本次事件中，Byte使用*方式的可能性更大。
即使用OpenAI API生成的数据作为训练数据。
因此，在这场危机中，Byte真正想要的是ChatGPT生成的高质量语料数据。
而这种数据也是任何大型模型在训练时最想要的“食物”。
不过，由于OpenAI之前的协议中已经明确表示禁止使用其大型模型来开发竞品，因此Byte被OpenAI“封杀”在所难免。
问题是：字节作为一家实力雄厚的厂商，不应该缺乏相应的人力和资金来做好数据爬取和语料标注的工作。
为何要迈出这“冒险的一步”？ 02 为什么要冒险？ 事实上，在目前的大车型赛道上，字节缺的不是人才和资金，而是时间。
与百度、科大讯飞等国内大公司相比，字节真正进入规模化模式可以说相当晚。
从时间上来看，Byte其实在今年8月中旬就推出了首款大机型豆包，而那时大机型的火已经燃烧了近半年。
真正想进入大模型游戏的玩家都知道，模型层面的竞争是有时间窗口的。
在大车型领域，先进入市场的企业往往能够积累更多的用户、数据和经验，从而形成竞争优势。
后来者要想赶上，就需要付出更多的努力和成本。
8月份推出的豆宝虽然让字节在车型层面勉强赶上了晚点列车，但从性能和定位来看，它更像是一款“尝鲜”产品，无法真正与字节现有业务竞争。
适合在一起。
作为移动互联网时代打造出抖音等热门产品的大厂商，Byte真正想要的就是像文心一言一样更加通用、多才多艺，可以集成或者嵌入到自己的各种App中。
中的大模型。
这导致了 Byte 的“种子计划”——计划在今年年底前构建一个可与 GPT-3.5 性能相媲美的大型种子模型。
问题是训练大型模型不是一朝一夕就能完成的事情。
标注数据、提取高质量语料等一系列繁琐的前期工作都需要时间。
那么如何在有限且紧张的时间内收集到足够的高质量语料数据呢？ 最可靠的方法之一是直接使用来自经过验证的成熟模型的数据，例如 ChatGPT。
03 模型层的窗口期 事实上，不仅是字节，就连一线AI玩家谷歌也为了“急于求成”做出了类似的小动作。
本月初，谷歌失望地宣布，其寄予厚望的大型模型Gemini因无法很好地处理非英语领域的查询任务而被推迟。
但奇怪的是，没过几天，谷歌就卷土重来，并于12月6日隆重推出了Gemini，似乎之前提到的“缺陷”都不再是问题了。
后来，网友测试后发现，谷歌已经从百度的文心一言那里找到了“解决方案”。
经过微博@阑西夜等众多网友测试，在用中文与Gemini-Pro交流时，如果你问“你是谁？”，Gemini-Pro会回答：我是百度文信模特。
这样的情况引发了人们的猜测，谷歌直接使用了百度文心一言的中文语料库进行训练。
为了赶超GPT-4，谷歌真的是冲上架了。
但从长远来看，这种大公司互相薅羊毛的行为最终只是暂时现象。
毕竟经过这么多次“曝光”，各大厂商肯定会对自己的数据进行更加严格的审视。
但即便如此，这种数据相互应用的行为，也让很多用户和投资者暗暗嘀咕：如果各个模型之间的数据能够在技术上轻松地相互应用，那么未来，除了 ChatGPT 等少数顶级玩家之外， ，还有哪些模型是“真实的”？ 在这样的担忧背后，其实还有一个更重要的初步问题，那就是：为什么我们需要这么多类似的大型模型？ 毕竟，人类的语料数据最终是有限的。
顶级团队（比如ChatGPT）的模型已经挖走了大部分，剩下的少量专有数据已经??被各个垂直行业瓜分。
在模型层创业行将结束的今天，比数据更能拉开差距的，是各有侧重点的训练方式以及由此创造出的各种功能。
这成为用户能否容忍这种“应用”行为的关键。
此时，谷歌的Gemini给出的答案是更强的原生多模态功能（可能有些夸张）。
对于字节大规模的Seed模式来说，未来能否卷土重来并赢得用户的信任，取决于它是否具有“一美遮丑”的亮点。
【本文由投资界合作伙伴微信公众号授权：AI新智能。
本平台仅提供信息存储服务。
】如有任何疑问，请联系投资界（）。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-17
06-18
06-18
06-18
06-18
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态