商汤《星际争霸2》AI智能代理公开亮相，大型AI设备达到专业级决策水平
06-17
市值超1.7万亿美元的AI军火商英伟达开始感受到“危机”，需要警惕各类“对手” 。
日前，有消息称孙正义计划筹集1亿美元创建一家AI芯片公司，旨在挑战英伟达。
近日，AI芯片初创公司Groq也透露出颠覆英伟达的意图。
NVIDIA在AI芯片市场上无可匹敌。
本财年，NVIDIA的销售额连续三个季度实现了三位数的同比增长。
毫无疑问，一年多来让英伟达疯狂的资本来自于当前市场AI大机型趋势的持续飙升。
在连续几个季度公布出色的财报后，英伟达的市值一路飙升，过去一年涨幅超过2.3倍。
这一切都与数据中心人工智能驱动的支出步伐有关，因为 Nvidia 的 GPU 是运行生成式人工智能应用程序的最佳选择。
然而，“长期以来，市场对英伟达来说一直在受苦”。
凭借超高的计算性能和量产交付能力，NVIDIA占据全球AI芯片90%的市场份额，遥遥领先于竞争对手。
很多时候，“一卡难求”。
现在，不仅AMD、英特尔等传统芯片公司打算抢占英伟达的市场，微软、Open AI、Google等AI公司，以及Groq、Cerebras等实力雄厚的初创企业也纷纷走错了路。
与 NVIDIA 竞争的方法。
高或低。
现在，又一个能让英伟达警惕的对手出现了。
近日，一家名为Groq的美国AI芯片公司站在了聚光灯下，推出了最快的大模型推理芯片LPU。
从数据来看，Groq自研的LPU推理速度是NVIDIA GPU的10倍，成本甚至只有其1/10。
没错，Groq 在国内外网络上都很火，用户直观的反馈就是速度快。
基于Groq自研芯片，在大模型推理时每秒可处理近2个token，帮助Groq的大模型输出速度比GPT-3.5快18倍。
Nvidia的出现让Nvidia措手不及。
美东时间2月20日，英伟达股价报收于每股0.52美元，下跌4.35%，盘中跌幅近7%。
Nvidia现在被对手包围了，Groq出人意料地给了它一个打击。
它能成为Nvidia的替代品吗？ 比NVIDIA快10倍，能取代NVIDIA吗？ Groq 能够刷新屏幕的重要原因是速度快。
今年1月，Groq进行了首次大型模型推理性能测试。
Meta AI 的 Llama 2 70B 大型模型在 Groq LPU 推理引擎上运行。
其性能优于所有其他基于云的推理提供商，输出代币数量增加了 18 倍。
今年 2 月，Groq 进行了第二次大型模型基准测试，这次是与 Artificial Analysis.ai 合作，结果表明 Groq 在几乎每个类别上都优于其他推理引擎提供商。
目前，Groq在官网上开放免费使用。
从社交平台上用户的反馈来看，确实很快。
以前AI生成的内容需要一些时间缓冲，但在Groq的开放云服务体验平台上，几乎没有延迟。
Groq依靠其自主研发的专用芯片就能做到这一点。
该芯片是Groq专门为大型机型开发的。
该团队将其定义为语言处理单元（LPU）。
据悉，LPU与Nvidia的GPU不同。
它是一款专为图形渲染而设计的并行处理器，包含数百个核心，可为AI计算提供稳定的性能。
其核心技术是TSP微架构设计，全称是张量流处理器。
TSP通过独特的功能切片设计、确定性执行和软件定义方法，实现高性能、高效的张量计算。
Groq的想法是通过TSP设计一款专用于AI推理的芯片，业内称为ASIC。
由于工作原理与主流GPU不同，LPU不需要像GPU那样频繁地从内存加载数据。
它使用 SRAM，比 GPU 使用的内存快约 20 倍。
据相关报道，Groq设计的第一款TSP ASIC实现了每平方毫米硅超过1万亿次操作/秒的计算密度。
这款 25×29 mm 14nm 芯片在 MHz 的标称时钟频率下运行性能*。
在ResNet50图像分类任务上，TSP能够在批量大小为1的情况下每秒处理20.4K图像。
与现代GPU和其他加速器相比，性能提高了4倍。
根据Groq的测试结果，其LPU生成的大型模型以接近每秒令牌的速度运行，击败了ChatGPT-3.5约40令牌/秒的速度。
在极端情况下，Groq的Llama2 7B甚至可以达到每秒令牌数，是GPT-3.5的18倍。
虽然说天下武功唯有快，但仅仅快并不能让Groq打败Nvidia。
AI科学家贾扬清近日在社交平台上发帖称，由于Groq的内存容量（MB）小得可怜，运行Llama-2 70b模型时，只需一张Groq卡就够了，而使用H只需要8张卡。
从目前的价格来看，这意味着同等吞吐量下，Groq的硬件成本是H的40倍，能耗成本是H的10倍。
Groq 背后：谷歌 TPU 团队离职创业。
对于企业家来说，想要与巨头竞争，更好的办法就是差异化竞争。
尽管仍被质疑颠覆Nvidia的实力，但Groq也在“挑战Nvidia的计算能力”。
《霸权》提供了一个思路。
Groq 作为一家成立于加州山景城的初创公司，已有八年历史，长期以来一直在芯片市场上高调亮相。
Groq 的首席执行官是被称为“TPU 之父”的前谷歌员工乔纳森·罗斯 (Jonathan Ross)。
乔纳森·罗斯参与了谷歌TPU项目并开发了谷歌的张量处理器。
谷歌在其数据中心使用的定制机器学习芯片中使用了该芯片。
后来，该芯片帮助谷歌的AlphaGo击败了韩国围棋选手李世石。
自从那场“人机大战”之后，AI闯入了更多普通人的世界，包括中国在内的世界各地也掀起了一股AI浪潮。
2006 年，乔纳森·罗斯 (Jonathan Ross) 离开谷歌，在加州创立了 Groq。
值得注意的是，Google TPU 项目的 10 名原始成员中有 8 名也加入了 Groq 团队。
Jonathan Ross 和其他人的目标是在 Groq 中复制他在 Google 的成功。
来源：Groq 官网截图 这支队伍实力雄厚，但却非常低调。
2016年4月，有媒体报道Groq获得了风险投资家Chamath Palihapidiya等人的1万美元启动资金，Groq逐渐出现在公众视野中。
这个团队也很任性，敢于直接“放鸽子”市场。
2017年，Groq宣布将在次年也就是2018年发布第一代AI芯片产品，当时这款芯片声称计算速度将达到TOPS，每瓦能够执行8万亿次运算。
当时谷歌最新一代的TPU才达到TOPS算力，这意味着Groq的性能将是谷歌TPU的两倍以上。
由于创始团队全部来自Google TPU团队，而且当时Google在14个月左右就发布了*TPU，所以Groq的flag就没有任何疑问了。
但今年，Groq并没有拿出自己的芯片产品。
2019年9月，有消息透露Groq将参加美国计算机历史博物馆举办的AI硬件峰会。
当人们期待Groq成为峰会焦点时，Groq却放弃了，没有参加。
乔纳森·罗斯当时的解释是：他们本来要在AI硬件峰会上做演示，但要向客户转移资源，无法做演示，所以决定退出。
幸运的是，在成立的前五年里，Groq 就成功研发出第一颗人工智能芯片并投入市场。
其客户包括数据中心和自动驾驶领域，推进商业化进程。
图片来源：Groq 官网截图 今年 4 月，Groq 再次引起关注，当时 Groq 宣布筹集了 3 亿美元融资，由 Tiger Global Management 和亿万富翁投资人 Dan Sondheim 的 D1 Capital 领投。
本轮融资对 Groq 的估值超过 10 亿美元，而当时 Groq 的团队只有几个人。
近年来，资本市场不断证明新的产品路径比英伟达的GPU更适合AI，Groq被推崇为挑战英伟达的主力之一。
Groq 似乎也对自己能否超越并取代 Nvidia 充满信心，因为一位自称是 Groq 员工的用户在互动中表示，自己将在 3 年内赶上 Nvidia。
对于NVIDIA来说，其独特的市场地位使其饱受围攻。
不知道黄仁勋这次能不能活下来呢？ 【本文由投资界合伙人猎云网授权发布。
本平台仅提供信息存储服务。
】如有任何疑问，请联系投资界（）。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-18
06-18
06-06
06-17
06-17
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态