【创业24小时】2022年6月2日
06-17
近日，路透社报道称OpenAI正在考虑开发自己的芯片。
据报道，从去年开始，OpenAI就开始考虑针对人工智能模型训练芯片短缺（即Nvidia GPU供应紧张）的对策，目前正在积极准备开发自研芯片，以满足未来的需求。
人工智能芯片。
。
事实上，不久前，OpenAI CEO Sam Altman 公开表示，Nvidia GPU 短缺对 OpenAI 以及整个人工智能行业影响很大。
此外，从今年开始，OpenAI开始招募硬件相关人才。
官网上有多个软硬件协同设计岗位招聘。
同时，今年9月，OpenAI还聘请了人工智能编译器领域的知名专家Andrew Tulloch。
这似乎也印证了OpenAI对自研芯片的投入。
OpenAI 官方拒绝对此事发表评论，但如果此事最终成真，OpenAI 将成为继谷歌、亚马逊、微软、特斯拉等之后，唯一一家加入自研芯片行列的硅谷科技巨头。
1. 为什么OpenAI有自己的芯片吗？前面提到，OpenAI自研芯片的主要动机是GPU的短缺。
更具体地说，是因为无论是购买Nvidia GPU还是使用基于GPU的云服务，价格都太昂贵，尤其是考虑到OpenAI未来模型训练所需的计算能力可能呈指数级增长。
OpenAI几年前就已经布局生成式人工智能。
去年GPT-3和去年下半年的ChatGPT公布之后，这些生成式大语言模型的能力在过去几年里得到了很大的提升，已经达到了可以的地步。
与人类实现有意义的对话，OpenAI已成为人工智能领域的领导者，生成式人工智能已成为未来几年预计对人类社会影响最大的技术。
据路透社报道，OpenAI 去年营收为 1 万美元，整体亏损 5.4 亿美元。
OpenAI巨额亏损的主要原因是算力费用。
值得注意的是，5.4亿美元的损失还是在生成式人工智能普及前一年；未来，算力支出预计将呈指数级增长，主要是由于：大型模型的竞争更加激烈，模型进化速度更快，需要算力快速提升：除了OpenAI之外，科技巨头如谷歌也在推自己的大型模型，这使得大型模型的进化速度明显加快。
未来，预计每季度到半年就会更新一次新一代，而最前沿的模型所需的计算能力预计每年都会增加一个数量级。
大模型的应用场景越来越广：目前，微软和谷歌已经开始在搜索和代码编写领域使用大模型。
预计未来大模型的应用场景将会更多。
包括自动任务处理、多模态问答等，这些都会大大增加不同模型的数量，也会大大增加模型部署所需的总算力。
据美国金融公司Bernstein分析，如果ChatGPT的访问量达到谷歌搜索水平的十分之一（这也是OpenAI未来的重要目标之一），那么OpenAI每年的GPU支出将达到1亿美元。
这种开销可能会成为 OpenAI 未来进一步规模化的重要瓶颈。
那么，如果OpenAI自己开发芯片，会节省多少成本呢？目前，使用八卡Nvidia HGPU的服务器的采购成本约为30万美元。
包括云服务商的保费，使用这台服务器三年的总成本约为10,000美元（这是AWS的官方报价，其他云服务商提供的价格应该在同一数量级）；如果OpenAI能够使用自研芯片，将这样一台八卡服务器的成本降低到10万美元以下，将大大降低其成本。
另一方面，如果自研芯片成功，在大规模部署中将单张加速卡的成本控制在1万美元以下应该是很有前景的。
也就是说，八卡服务器的成本不可能控制在10万美元以下。
够不着。
2. OpenAI自研芯片有何独特之处？目前，研发自研芯片的科技公司不少。
那么如果OpenAI自己研发芯片，与谷歌、亚马逊等科技公司自研芯片会有什么不同呢？ 首先，OpenAI的自研芯片纯粹是为了自己的模型训练，这与谷歌、亚马逊等自研芯片面向云服务器供客户使用的商业模式不同。
对于云服务客户使用谷歌、亚马逊等自研芯片的情况，由于用户使用模型的场景不明确，使用的软件栈不确定，具体的训练模型也不确定，因此以满足芯片设计的要求。
兼容性需求以及此类兼容性考虑通常是以牺牲每个训练任务的效率和性能为代价的。
相反，OpenAI自研芯片仅供自己使用，训练出来的模型非常清晰：是以Transformer为基本组件的大型语言模型，所使用的软件栈完全由自己控制，因此可以确保设计具有非常高的质量。
有针对性。
第二个区别是OpenAI对模型有非常深入的理解。
OpenAI 是生成模型领域的领导者。
目前，GPT系列模型仍然是大语言生成模型中性能最好的模型。
而且，OpenAI在生成模型领域有着多年的积累。
因此，OpenAI针对当前的生成模型有多种设计方案。
深入的理解意味着OpenAI有足够的能力和积累来做芯片模型协同设计，可以根据芯片的特性设计相应的模型。
同时，还可以根据模型的需要明确芯片的设计指标，包括如何计算单元、存储和芯片到芯片互连等之间的最佳折衷。
最重要的是OpenAI对于未来几年生成大型模型的路线图有着业界最清晰的规划。
这意味着，即使研发一款自研芯片需要几年的时间，也无需过多担心该芯片将无法再量产。
跟上模型更新。
从这个角度来看，OpenAI的自研芯片与谷歌、亚马逊有很大不同，但与特斯拉的Dojo系列自研模型训练芯片类似；但它们与特斯拉不同。
更重要的是，OpenAI对模型训练的需求显然会比特斯拉高很多，这样的自研芯片对于OpenAI的重要性也会更高。
OpenAI 的这些独特功能使其有机会使用非传统的专业设计来实现高性能芯片。
近日，英伟达在官方博客中分析了其GPU的性能提升规律：英伟达的GPU计算能力在不到十年的时间里翻了一番。
据分析，在成倍计算能力的提升下，计算精度的优化（即使用16位甚至8位浮点数可以替代原来的32位浮点数计算）并使用专用的计算模块实现了16倍的性能提升，而芯片架构领域和编译器的协同优化提供了12.5倍的性能提升，而另一方面，半导体技术带来的性能提升仅为两倍。
可见，在高性能计算芯片领域，算法与芯片架构（包括模型算法和编译器算法）的协同设计是性能提升的主要驱动力（也称为黄氏定律）。
从这个角度来看，OpenAI确实处于非常有利的地位。
凭借对算法的深刻理解，OpenAI有望在未来几年内充分利用黄氏定律实现高性能计算芯片的设计。
3、OpenAI自研芯片面临的挑战。
除了自身优势之外，OpenAI自研芯片也存在挑战。
OpenAI自研芯片的目标很明确，就是将高算力芯片用于大型模型。
高计算芯片的主要挑战是其复杂性。
从芯片设计的角度来看，高性能计算芯片中的计算单元、存储访问以及芯片之间的互连都需要仔细考虑。
例如，为了满足大型模型的需求，芯片很可能会使用HBM内存；为了实现芯片的高能效和规模化，预计将采用先进工艺，配合芯片颗粒等技术，实现高良率；大型模型通常会使用分布公式计算，因此芯片之间的互连至关重要（Nvidia的NVLINK和InfiniBand技术对于GPU非常重要，OpenAI也需要类似的技术）。
这些芯片设计组件中的每一个都需要有相当经验的团队来实现，而将这些组件集成在一起也需要优秀的架构设计来保证整体性能。
OpenAI如何组建一支经验丰富的团队在短时间内完成这些具有挑战性的设计将是一个重要的挑战。
除了芯片设计之外，如何保证软件和硬件协同工作，或者说如何设计高性能的编译器和相关软件生态系统是OpenAI面临的另一大挑战。
目前，Nvidia GPU的一个重要优势是其CUDA软件系统，经过十多年的积累，具有高性能和兼容性。
在OpenAI自研芯片中，编译系统也需要实现CUDA等高性能，才能充分发挥芯片的计算能力。
与其他科技公司为云服务开发自研芯片不同，OpenAI的芯片主要是自用的，因此无需过多担心生态和用户模型支持。
不过，编译性能也需要接近Nvidia的CUDA。
好的。
事实上，OpenAI很早就开始在这个领域进行投资；今年7月，OpenAI宣布了自己的基于开源Triton语言的人工智能模型编译解决方案，可以使用开源Triton语言将Python代码编译为中间代码。
表示，IR），然后使用Triton编译器和LLVM编译器编译为PTX代码，使其可以直接在支持PTX的GPU和人工智能加速器上运行。
从这个角度来看，OpenAI对编译器的投入或许是其自研芯片的前兆。
最后，芯片的具体生产也将是一个挑战。
如前所述，OpenAI 很可能会使用先进的工艺节点和先进的封装技术来实现。
因此，如何保证生产的良率，更重要的是如何在产能可能仍然紧张的几年内维持先进封装和先进工艺节点的产能。
获得足够的产能进行量产也是一个需要解决的问题。
考虑到这三个挑战，我们认为OpenAI目前开发自己芯片的计划可能是多步骤的。
首先，在技术团队和生产问题彻底解决之前，OpenAI可以选择与微软（其第一大股东，也有自己的芯片计划Athena）和Nvidia（或AMD）合作，选择半定制芯片。
比如OpenAI提供芯片需求，支持一些指标，甚至提供一些IP，可以和这些合作伙伴一起设计、生产芯片。
技术团队和生产问题解决后，OpenAI可以选择大量投入自研全定制芯片，以达到最佳的性能和可控性。
【本文由投资界合作伙伴微信公众号授权：半导体行业观察者。
本平台仅提供信息存储服务。
】如有任何疑问，请联系投资界（）。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-21
06-18
06-06
06-06
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态