AI 2024的方向

记者：NVIDIA本周公布了最新的季度报告。

与出人意料的财务数据相比，电话会议真正的看点是：AI将如何发展？ “算力沙皇”的权杖指明了潮流的方向。

以下为电话会议纪要。

第三季度又是创纪录的季度。

收入达到1亿美元，环比增长34%，同比增长超过3%。

远高于我们的 1 亿美元预期。

从数据中心开始，基于 Hopper Tensor Core GPU 架构的 NVIDIA HGX 平台以及 InfiniBand 和网络的持续增长，推动数据中心收入创下 1 亿美元的历史新高，环比增长 1%，同比增长 3% -同比。

NVIDIA HGX 和 InfiniBand 本质上是 AI 超级计算机和数据中心基础设施的参考架构。

一些最令人兴奋的生成式 AI 应用程序都是在 NVIDIA 上构建和运行的，包括 Adob??e Firefly、ChatGPT、Microsoft Copilot、Zoom AI Companion 等。

我们的数据中心计算收入比去年增长了四倍，网络收入几乎增长了两倍。

对大型语言模型、深度学习、推荐系统和生成式 AI 应用的训练和推理基础设施的投资正在推动对 NVIDIA 加速计算的广泛而强劲的需求。

推理现在是 NVIDIA AI 计算的主要工作负载。

消费互联网公司和企业在第三季度推动了令人印象深刻的连续增长，约占我们数据中心收入的一半，并且超过了整体增长。

Adobe、Databricks、Snowflake 和 ServiceNow 等企业软件公司正在向其平台添加人工智能副驾驶和助理。

本季度我们数据中心收入的另一半。

所有超大规模 CSP 以及全球范围内一组新的 GPU 专用 CSP 的需求都很强劲，这些 CSP 正在快速增长，以应对人工智能领域的新市场机遇。

NVIDIA HTensor Core GPU 实例现在几乎存在于每个有实例的云中。

中都的需求量很大。

今年每个季度我们都大幅增加供应，以满足强劲的需求，并预计明年将继续这样做。

我们还将有更广泛、更快的产品发布节奏，以满足不断增长和多样化的人工智能机会。

本季度末，美国政府宣布了一套针对中国和其他市场（包括越南和某些中东国家）的新出口管制法规。

这些法规要求我们的许多产品获得出口许可证，包括我们的 Hopper 和 Ampere 系列以及其他几种产品。

在过去的几个季度中，我们对中国和其他受影响目的地的销售（来自目前受许可要求限制的产品）一直贡献了数据中心收入的约 20% 至 25%。

我们的训练集群包括 10 多个 HGPU，比 6 月份增加了 3 倍，反映出非常高效的扩展。

高效扩展是生成人工智能的关键要求，因为法学硕士每年都在以一个数量级增长。

Microsoft Azure 在几乎相同的集群上取得了类似的结果，展示了 NVIDIA AI 在公共云部署中的效率。

目前，网络业务年营收运行率超过10亿美元。

我们的增长是由对 InfiniBand 的巨大需求推动的，该需求同比增长了五倍。

InfiniBand 对于获得 LLM 培训所需的规模和性能至关重要。

微软上周明确表示了这一点，强调Azure使用了超过29,000英里的InfiniBand电路，足以绕地球一圈。

我们正在将 NVIDIA 网络扩展到以太网领域。

我们的全新 Spectrum-X 端到端以太网产品采用专为人工智能打造的技术，将于明年第一季度推出。

与传统以太网产品相比，Spectrum-X可将AI通信网络性能提升1.6倍。

我还想提供有关我们的软件和服务产品的更新，我们已经开始看到这些产品和服务的广泛采用。

我们有望在年底实现 10 亿美元的经常性软件支持和服务产品年收入。

我们看到了中期增长的两个主要机会，即我们的 DGX 云服务和我们的 NVIDIA AI 企业软件。

游戏收入达到28.6亿美元，环比增长15%，同比增长超过80%。

重要的返校购物季需求强劲，NVIDIA RTX 光线追踪和 AI 技术目前售价低至美元。

我们为游戏玩家和创作者带来我们有史以来最好的阵容。

即使在 PC 市场低迷的背景下，游戏数量也比 COVID-19 之前的水平翻了一番。

ProViz营收为4.16亿美元，环比增长10%，同比增长%。

NVIDIA RTX 是适用于专业设计、工程和模拟用例的首要工作站平台，其中人工智能正在成为强大的需求驱动力。

早期应用包括用于医疗保健中的 AI 成像的 IMP 以及智能空间和公共部门中的边缘 AI。

我们推出了基于 NVIDIA RTX、Ada Lovelace、Generation GPU 和 ConnectX、SmartNIC 的全新系列桌面工作站，其 AI 处理、光线追踪和图形性能是前几代的两倍。

我们宣布在 Microsoft Azure 上推出两项用于汽车数字化的新 Omniverse 云服务：虚拟工业模拟引擎和自动驾驶汽车模拟引擎。

转向汽车行业。

收入为2.61亿美元，环比增长3%，同比增长4%，主要得益于基于NVIDIA DRIVE Orin SoC的自动驾驶平台的持续增长以及面向全球OEM客户的AI座舱解决方案的持续增长。

我们扩大了与富士康的汽车合作伙伴关系，纳入了我们的下一代汽车 SoC NVIDIA Drive Thor。

富士康已成为电动汽车的ODM。

我们的合作伙伴关系为富士康提供了标准的自动驾驶传感器和计算平台，使其客户能够轻松构建最先进、安全的软件定义汽车。

由于数据中心销售额增加和净库存储备减少（包括 1 个百分点的利润率），我们现在将损益表的剩余部分扩大到 GAAP 毛利率至 74%，非 GAAP 毛利率至 75%。

预留Ampere GPU架构产品相关库存。

运营费用增加 12%，非 GAAP 运营费用增加 10%，主要反映薪酬和福利的增加。

问答环节 Q1：您认为目前生成式人工智能市场的出货量处于什么位置？因为当我看看你们的数据中心轨迹时，明年的数据中心支出将接近 30%。

那么您正在关注哪些指标？我们在AI市场中处于什么位置？ A1：从历史上看，过去几个季度，中国和其他一些受影响的目的地约占我们数据中心收入的 20% 至 25%。

我们预计，随着进入第四季度，这一数字将大幅下降。

出口管制将对我们在中国的业务产生负面影响，即使从长期来看，我们也不清楚这种影响的严重程度。

然而，我们正在努力扩展我们的数据中心产品组合，以潜在地提供不需要许可证的新的符合法规的解决方案。

这些产品可能会在未来几个月内上市。

然而，我们预计他们的贡献在第四季度收入中所占的比例不会很大或有意义。

生成式 AI 是我们几十年来看到的最大的软件和硬件 TAM 扩展。

从本质上讲，它主要是一种基于检索的计算方法，您所做的几乎所有内容都是从某处的存储中检索的，并且已得到增强，添加了生成方法，并且它几乎改变了一切。

您可以查看文本到文本、文本到图像、文本到视频、文本到 3D、文本到蛋白质、文本到化学品。

这些是过去由人类处理和输入的东西，现在这些是生成方法。

我们访问数据的方式已经改变。

它曾经基于显式查询。

因此，我们对与 SAP 和 Dropbox 以及您将听到的许多其他合作伙伴所做的工作感到非常兴奋。

真正有影响力的领域之一是软件行业，该行业价值约一万亿美元，在过去的几十年里一直在构建手动使用的工具。

现在软件中有一个全新的部分，称为副驾驶和协助。

这些工具不需要手动使用，而是有一个副驾驶来帮助您使用它。

因此，当然，我们将继续这样做，而不是获得软件许可，但我们还将雇用副驾驶和助理来帮助我们使用该软件。

我们将把所有这些副驾驶和助手连接到人工智能团队中，这将是现代版本的软件，现代版本的企业业务软件。

因此，软件和软件完成方式的转变正在驱动底层硬件。

现在我们有一个更好的方法，称为加速计算，您可以节省一个数量级的能源，可以节省一个数量级的时间，或者可以通过使用加速来节省一个数量级的成本。

因此，如果您愿意的话，加速计算正在将通用计算转变为这种新方法。

新的数据中心进一步增强了这一点。

这就是您所说的传统数据中心，我们大约占其中的三分之一。

但是有一种新型的数据中心，这种新型的数据中心与过去的数据中心不同，过去的数据中心运行着很多应用程序，由不同租户中的很多人使用相同的基础设施，并且数据中心存储了大量的文件。

这些新数据中心仅由极少数应用程序（如果不是一个应用程序）使用，并且基本上由一个租户使用。

它处理数据、训练模型并生成人工智能。

我们将这些新的数据中心称为人工智能工厂。

我们看到几乎每个国家都在建设人工智能工厂。

因此，如果你看看我们在扩张中所处的位置，向这种新计算方法的过渡，这是你在大型语言建模初创公司、生成人工智能初创公司和消费互联网公司中看到的第一波浪潮。

我们正在加大力度。

与此同时，随着这种情况持续增加，您将看到我们开始与想要构建聊天机器人和副驾驶的企业软件公司合作，并提供帮助以增强其平台上的工具。

您会看到专门针对 GPU 的 CSP 在世界各地涌现，它们真正致力于做一件事，那就是处理人工智能。

你将看到主权人工智能基础设施、人民和国家现在意识到他们必须利用他们的技术。

拥有自己的数据，保留自己的数据，保留自己的文化，处理数据，并开发自己的人工智能，你在印度看到了这一点。

所以我认为，随着这一波生成式人工智能浪潮蔓延到每个行业、每个公司、每个地区，你将会看到新的发展。

所以我们正处于这个拐点、计算领域转变的开始。

Q2：我想询问有关业务网络的问题。

您如何看待以太网的演进？ A2：我们的线上业务已经达到10亿美元以上，规模还会进一步扩大。

我们最近为我们的网络业务添加了一个新的网络平台。

但绝大多数专用的大型AI工厂都是在InfiniBand上进行标准化的。

其原因不仅在于其数据速率和延迟，还在于其在网络内移动流量的方式。

借助InfiniBand，借助软件定义的网络，我们可以进行控制、自适应路由、性能隔离和噪声隔离，更不用说InfiniBand的数据速率和低延迟以及非常低的开销，这是InfiniBand的自然组成部分。

因此，InfiniBand 不仅仅是一个网络，它还是一个计算结构。

我们在结构中构建了许多软件定义的功能，包括计算。

例如，最近我们谈论了我们正在创建的模型之一，它称为 Shipnemo，并且我们正在构建许多其他模型。

我们将在公司内部创建数十或数百个定制人工智能模型。

我们所做的是发明这个新平台，它扩展了以太网，不会取代以太网，与以太网兼容，并且针对东西向流量（计算结构所在的位置）进行了优化。

它与 BlueField 的端到端解决方案以及我们的 Spectrum 交换机一起添加到以太网中，使我们能够执行 InfiniBand 中的一些功能（不是全部，而是部分），并且我们取得了出色的结果。

我们进入市场的方式是与已经提供我们的计算解决方案的大型企业合作伙伴合作。

因此，惠普、戴尔和联想拥有 NVIDIA AI 堆栈、NVIDIA AI 企业软件堆栈，现在他们与 BlueField 集成并捆绑其 Spectrum 交换机。

如果你愿意的话，他们将能够凭借其庞大的销售队伍和庞大的经销商网络，为世界各地的企业客户提供完全集成的、至少是端到端优化的人工智能解决方案。

Q3：我想知道您是否可以多谈谈 Grace Hopper，您如何考虑利用某些微处理器的功能，您如何将其视为 TAN 扩展器，以及与更传统的 H 相比，您对使用 Grace Hopper 的看法应用程序应用程序？ A3：Grace Hopper已投入生产，目前正在量产。

我们预计，明年，随着我们在高性能计算和人工智能基础设施方面取得的所有设计胜利，我们将很快从第一个数据中心 CPU 转向价值数十亿美元的产品线。

这对我们来说将是一个非常庞大的产品线。

它能够创建具有非常快内存和非常大内存的计算节点。

在矢量数据库或语义搜索（称为 RAG（检索增强生成））的世界中，这使您能够为生成式 AI 模型提供在生成响应之前引用专有数据或事实数据的能力。

通过这种方式，生成模型一方面仍然可以自然地与您交互，但另一方面可以引用事实数据、专有数据或特定领域的数据、您的数据，并且可以与上下文相关并减少错觉。

例如，对于 Grace Hopper 来说，这个特殊的用例确实很棒。

它还为真正想要拥有不同于 x86 的 CPU 的客户提供服务。

也许是欧洲超级计算中心或欧洲公司想要建立自己的 ARM 生态系统并想要构建整个堆栈，或者可能是 CSP 决定转向 ARM，因为他们自己的定制 CPU 是基于 ARM 的。

Q4：我想问一下您的收入情况。

您认为今年数据中心能够增长吗？ A4：*相信数据中心能在年前实现增长。

有几个原因。

我们正在大幅扩大供应。

我们已经拥有世界上最广泛、最高效、最有能力的供应链之一。

人们将 GPU 视为一个芯片，但 HGX H（Hopper HGX）有 35 个部件。

它重 70 磅。

其中八块筹码属于霍珀。

它是一台超级计算机，因此测试超级计算机的唯一方法就是使用另一台超级计算机。

因此，我们 HGX 供应链的每个方面都很复杂，而我们这里拥有的优秀团队确实以令人难以置信的方式扩展了供应链。

更不用说，我们所有的 HGX 都连接到 NVIDIA 网络，网络、收发器、NIC、电缆、交换机的复杂性令人难以置信。

正如我之前提到的，我们有新客户。

不同地区正在建设GPU专家云，来自世界各地的主权人工智能云，因为人们意识到他们无力将自己国家的知识、国家文化出口给其他人，然后将人工智能转售给他们。

他们必须、他们应该、他们有技能，当然，与我们结合，我们可以帮助他们做到这一点，建立他们的国家人工智能。

所以他们要做的第一件事就是创建他们的人工智能云，他们的国家人工智能。

云。

您还看到我们现在正在成长为一家企业。

进入企业市场有两条路径。

*方式当然是现成的人工智能，当然还有 ChatGPT、令人难以置信的现成人工智能和其他。

还有专有的人工智能，因为像 ServiceNow 和 SAP 这样的软件公司和许多其他公司无法承担将公司的智能外包给其他公司的费用。

我们推出了一项名为 AI Foundry 的新服务，利用 NVIDIA 的功能为他们提供服务。

下一个目标是让企业构建自己的定制人工智能、自己的定制聊天机器人、自己的定制规则。

而且这种能力正在全世界范围内传播。

我们服务这个市场的方式是使用整个系统堆栈，其中包括我们的计算、网络和交换机，运行我们称为 NVIDIA AI Enterprise 的软件堆栈，并通过我们的市场合作伙伴 HP、Dell、Lenovo 等提供该软件堆栈。

软件堆栈。

因此，我们看到一波生成式人工智能浪潮从初创公司和通信服务提供商开始，转向消费互联网公司，转向企业软件平台，转向企业公司。

最终，您看到我们花费大量精力的领域之一与工业生成的人工智能有关，这就是 NVIDIA AI 和 NVIDIA Omniverse 的结合之处，这是一项非常非常令人兴奋的努力。

Q5：您提到未来几个月将推出符合监管要求的产品，但对第四季度营收的贡献应该比较有限。

这是一个时间问题吗？它会成为四月份及以后数据中心加速和增长的新源泉吗？或者这个价格点对未来收入的贡献是否应该相对有限？那么随着上周发布的AI Foundry服务公告，盈利模式将如何运作？主要是服务和软件收入吗？我们应该如何思考长期机会？这将是 Microsoft 独有的，还是您也计划扩展到其他合作伙伴？ A5：关于我们可以向中国客户提供的潜在新产品。

设计和开发这些新产品是一个重要的过程。

正如我们所讨论的，我们将确保与美国政府充分讨论我们对这些产品的意图。

考虑到我们在本季度的情况，以及本季度已经过去几周了，我们需要一些时间来与客户讨论他们对我们拥有的这些新产品的需求和愿望。

展望未来，从中长期来看，很难说我们与美国政府的合作能够产生什么成果，以及会给我们的中国客户带来什么好处。

因此，我们仍然专注于为中国客户找到合适的平衡点，但现在还很难说。

AI Foundry 的机遇巨大，影响深远。

首先，每个公司都有自己的核心智力。

它构成了我们的公司。

我们的数据，我们的领域专业知识。

与许多公司一样，我们创建工具，世界上大多数软件公司都是工具平台，而这些工具今天被人们使用。

未来，我们雇用的一大群人工智能增强人员将使用它。

这些人工智能平台必须被带到世界上，你会看到，我们已经宣布了一些，SAP、ServiceNow、Dropbox、Getty 以及许多其他平台即将推出。

因为因为他们有自己专有的人工智能，他们想要自己专有的人工智能，他们承担不起外包情报和分发数据的费用，也承担不起将轮子交给其他公司来构建人工智能的费用。

他们。

我们有几件事对代工厂来说非常重要，就像台积电是代工厂一样。

你必须拥有人工智能技术。

如你所知，我们拥有令人难以置信的深度人工智能能力、人工智能技术能力。

其次，你必须有*实践，已知的实践，通过发明人工智能模型来处理数据的技能，以创建带有护栏、微调等的人工智能。

第三件事是你需要一个工厂，这就是DGX Cloud。

我们的人工智能模型称为人工智能基金会。

如果你愿意的话，我们用来创建 AI 的 CAD 系统称为 NEMO，它们在 NVIDIA 的工厂（我们称为 DGX Cloud）上运行。

我们在云端、本地和任何地方都拥有庞大的安装基础。

而且它是安全的、安全地修补、持续修补、优化和支持。

我们将其称为 NVIDIA AI Enterprise。

NVIDIA AI Enterprise 的定价为每 GP 每年 4.00 美元。

这是我们的商业模式。

我们的商业模式基本上是一个许可证。

然后，我们的客户有了基本许可，就可以在此基础上建立自己的盈利模式。

在很多方面，批发变成了零售。

他们可以按实例订阅许可证，或按使用案例订阅。

他们可以通过很多不同的方式创建自己的商业模式，但我们的方法基本上就像软件许可证，就像操作系统一样。

因此，我们的业务模式是帮助您创建自定义模型，然后在 NVIDIA AI Enterprise 上运行这些自定义模型。

Q6：我想知道如果中国没有限制，第四季度的指引会更高吗？或者，如果您的供应受到限制，您只能转运可以运往中国其他地方的货物。

我想沿着这些思路，如果您能让我们了解您当前在数据中心的交货时间以及当前的情况，是否会缩短这些交货时间，因为您有一些可以立即发货的零件？ A6：是的，在某些情况下，我们每个季度都会努力改善我们的供应。

我们在每个季度的增长方面做得非常扎实，这决定了我们的收入。

但由于中国不在我们第四季度的展望中，因此我们仍在努力改善供应，并计划明年继续增长并为此努力。

问题 7：也许您可以花点时间讨论大型模型推理的演变，以及您的公司如何定位大型模型推理（相对于小型模型推理）。

其次，直到一两个月前，我还从未真正收到过任何有关人工智能工作负载的数据处理部分的问题。

也许你可以谈谈 CUDA 如何加速这些工作负载 A7：我们可以创建 TensorRT-LLM，因为 CUDA 是可编程的。

如果 CUDA 和我们的 GPU 不是那么可编程，那么就很难以我们现在的速度改进软件堆栈。

同一 GPU 上的 TensorRTLLM 无需任何人接触任何东西即可将性能提高一倍。

当然，最重要的是我们的创新步伐太快了，H是它的三倍。

结果，我们的推理成本在大约一年内降低了四倍。

所以真的很难跟上。

现在，每个人都喜欢我们的推理引擎的原因是我们的安装基础。

20 年来，我们一直致力于服务我们的客户群。

我们拥有的安装基础不仅在每个云中都是独一无二的，而且还可以从每个企业系统制造商处获得。

几乎每个行业的公司都使用它。

每当您看到 NVIDIA GPU 时，它都在运行我们的堆栈。

它在架构上是兼容的。

NVIDIA 平台稳定性的确定性是每个人首先以我们为基础进行构建的原因，也是每个人首先在我们的基础上进行优化的原因。

您在 NVIDIA 基础上所做的所有工程、所有工作以及所有技术发明都会让使用我们 GPU 的每个人受益。

我们拥有如此庞大的安装基础，云中的数百万个 GPU，来自人们 PC 的 1 亿个 GPU，世界上几乎每个工作站，它们在架构上都是兼容的。

因此，如果您是一个推理平台并且正在部署推理应用程序，那么您基本上是一个应用程序提供商，而作为软件应用程序提供商，您正在寻找一个庞大的安装基础。

数据处理，在训练模型之前，必须整理数据。

您必须推断数据，也许您必须使用合成数据来扩充数据，因此您需要处理数据、清理数据、对齐数据、规范化数据。

所有这些数据不是以字节和兆字节为单位，而是以太字节和拍字节为单位。

在数据工程和训练之前进行的数据处理量是巨大的。

它可能代表您最终创建数据驱动的机器学习服务所需工作的 30%、40%、50%。

所以数据处理只是一个重要的部分。

我们加速 Spark，我们加速 Python。

我们刚刚做的最酷的事情之一是 cuDF pandus。

Tandas 是世界上最成功的数据科学框架，现在由 NVIDIA CUDA 加速，开箱即用，无需任何代码。

所以加速度真的很惊人，人们对此感到非常兴奋。

PANDAS 的设计目的只有一个，即数据科学的真实数据处理。

NVIDIA CUDA 为您提供这一切。

问题 8：我们如何看待你们的研发、运营支出增长前景，以支持更积极、更广泛的未来路线图，但更重要的是，团队正在采取哪些措施来管理和推动所有这些复杂性的执行？ A8：首先，我们加快执行速度有一个根本原因，就是从根本上降低了成本。

TensorRT LLM 和 H 的结合将我们客户的大型模型推理成本降低了四倍。

因此，我们希望加快我们的路线图。

第二个原因是将生成式人工智能的覆盖范围扩大到世界上数据中心配置的数量。

NVIDIA 存在于每个云中，但没有一个云是相同的。

NVIDIA 与每个云服务提供商合作，但他们的网络控制平面安全状况各不相同。

我们现在正在将所有这些产品推向市场。

当然，复杂性包括所有技术、细分市场和速度。

它包括我们在架构上与它们中的每一个都兼容的事实。

它包括我们创建的所有特定于域的库。

这就是为什么每家计算机公司都会毫不犹豫地将 NVIDIA 添加到其路线图并将其推向市场。

原因是因为有市场需求。

医疗保健有市场需求。

当然，人工智能、金融服务、超级计算、量子计算都有市场需求。

我们拥有特定领域库的市场和细分市场非常广泛。

最后，我们为数据中心提供端到端的解决方案。

InfiniBand 网络、以太网、x86、ARM，几乎所有解决方案、技术解决方案和软件堆栈的排列都可用。

这意味着拥有最多数量的生态系统软件开发商、最大的系统制造商生态系统、最大和最广泛的分销合作伙伴网络，以及最终最全面的覆盖范围。

这当然需要大量的能量。

但真正将它们结合在一起的是我们几十年前做出的一个伟大决定，即一切在架构上都是兼容的。

当我们开发一种在一个 GPU 上运行的特定领域语言时，它也可以在每个 GPU 上运行。

当我们针对云优化 TensorRT 时，我们也在针对企业进行优化。

当我们做一些带来新功能、新库、新功能或新开发人员的事情时，他们会立即从我们的影响力中受益。

所以这种架构兼容的原则已经持续了几十年，这也是NVIDIA仍然非常非常高效的原因之一。

【本文由投资社区合作伙伴微信公众号授权：博科。

本平台仅提供信息存储服务。

】如有任何疑问，请联系投资界（）。