翼猫科技获数千万元A轮融资，量子资本领投
06-18
如果要谈元宇宙，NVIDIA 就无法回避。
无论是更真实地呈现虚拟世界所需的光追技术，还是元宇宙所需的人工智能和大算力，NVIDIA都提供了一系列的技术和平台支持。
在今年的英伟达GTC大会上，除了RTX 40系列显卡之外，最引人注目的就是一系列与元宇宙相关的产品和技术的更新。
继去年正式发布“工程师王牌”NVIDIAOmniverse（以下简称Omniverse）后，NVIDIA此次推出了Omniverse Cloud云服务。
创始人·黄仁勋曾表示：“通过云端的Omniverse，我??们可以连接世界各地的团队。
共同设计、构建和运行虚拟世界和数字孪生。
”对于英伟达来说，Omniverse也是他们在计算机领域的专业知识真正统一的平台图形、人工智能、技术计算和物理模拟，以及他们为元宇宙提供的所有想法。
而谋划，在Omniverse身上都可见一斑。
在今年5月的Rebuild大会上，我们邀请了NVIDIA中国区负责人Omniverse何展来谈谈他们对“工程师元宇宙”Omniverse的看法。
而这一次，随着更高算力的GPU、自动驾驶芯片雷神、耀明云的发布，英伟达对于元宇宙的思考又发生了哪些新的变化呢？他们心目中“工程师元宇宙”的目标是否又重新调整了？ 9月29日，极客公园Rebuild上，方正公园主播王石与NVIDIA中国高级技术营销经理石成秋畅谈了NVIDIA对元宇宙的新思考。
石成秋做客极客公园《重建》专栏 |图片来源：直播截图01 除了元宇宙，GTC大会新亮点方正朴：今年新推出的雷神芯片直接把算力提升到T，直接取代计划Atlan芯片量产背后的考虑是什么—— 2018年生产的，而不是后续升级版本？石成秋：自动驾驶汽车有两个关键点。
首先，车载采集器的数据源有很多，比如激光雷达、雷达、摄像头等，从这些样本中获取的数据不是单一的，而是多样的，包括高精度地图和环境；车内车外的一些交互，例如突然经过的行人以及路标；甚至车里人的谈话和嘴型。
，面部表情，因为有人机交互，可能会有一些捕捉。
将所有这些数据源聚合起来，意味着这台车规级计算机每秒计算的数据量是非常巨大的。
第二点是数据必须是冗余的。
车辆行驶的安全至关重要。
安装在车辆上的摄像头足以捕捉前方的数据。
与雷达、激光雷达配合，可以实现不同程度的冗余；确保当某个设备出现意外或遮挡时，例如摄像头被其他车辆遮挡或离开时，其他设备也能实时提供安全的数据冗余。
冗余和多样性产生了大量计算，可以由汽车级计算机实时处理以实现自动驾驶。
这也是未来日益发展的自动驾驶汽车对算力的要求。
我们的产品可能需要丰富到极高的计算能力才能够应对如此复杂的预算环境的挑战，所以我们推出了更先进的产品Thor，基于今年最新的Ada Lovelace架构，另外第三个除了现代光线追踪之外，还添加了人工智能和神经图形学。
创始人 Park：Thor 实际上是基于 Ada Lovelace 架构的。
这个新架构的核心创新点以及要重点解决的问题是什么？石成秋：Ada Lovelace的建筑风格可能衍生于多个方面。
可以说它是图形学和图形图像处理的巅峰之作。
比如游戏玩家向往的RTX 40系列产品，以及我们数据中心即将采用的RTX Ada架构，以及L40等系列产品，都是基于Ada Lovelace架构设计的。
Ada Lovelace 架构采用了最新的第三代光线追踪核心。
在做图形开发、专业级渲染或者玩游戏时，它具有进行实时光线追踪的能力，在电影中可能达到24帧每秒；此外，它还添加了人工智能的TensorFlow张量运算，可以使用FP8低精度进行非常快速的图形和图像预测。
这部分是神经影像学的概念；还添加了大量新功能，甚至可以依靠人工智能自动添加完整的框架出来。
方正朴：智能汽车的算力应该集中还是分布式？ Nvidia是如何布局的？石成秋：对于现在的汽车市场来说，座舱仪表、行车电脑、自动驾驶系统、娱乐系统、HUD显示都可能由不同的处理器，甚至多个不同的计算机来处理。
或者操作系统处理它。
这种模式之所以长期有效有两个原因。
首先是计算能力不足以使用中央计算机来处理众多且复杂的任务；另一个是每个公司都有自己的系统，没有制造商想到推出一个平台来集成汽车中的所有系统。
首先，Nvidia的计算能力必须足够强大。
其次，我们的平台要兼容这些操作系统的底层计算模式。
如果能够提供足够的计算能力来集成汽车上的系统，对于生产、验证、维护和维修来说将是一个更好的方向，对于用户和车主来说也更加有利。
Park创始人：这次我们还发布了Grace Hopper推荐系统。
搜索推荐几乎停止增长。
为什么格蕾丝·霍珀仍然专注于“推荐系统”？石成秋：GPU作为深度学习的加速器，在推荐系统中的算法比CPU快很多。
Grace Hopper 拥有多G 内存。
Grace CPU核心和Hopper GPU核心通过NVLink高带宽连接技术连接。
大内存可以随时被Hopper GPU访问，这意味着该系统的能力远远大于单个GPU的计算能力。
能力和加速器能力要强大得多，因为它有ARM架构，可以处理许多单线程、非常高速的任务，这些任务可能不适合在多线程GPU上运行；缓存机制、内存调用机制、显存调用机制都是在NVLink的指导下完成的。
短视频平台的UGC（用户生成内容）将存储在互联网服务提供商的服务器中。
这些内容需要神经网络通过算法来标记它们。
无论是计算模式、软件框架、调度便捷性还是数据规模，Grace Hopper都是最适合数据中心的产品。
我们觉得未来的数据中心一定要迭代。
人工智能深度学习算法在过去十年发展非常迅速。
未来可能会出现多种新的算法，硬件必须先于软件。
做好准备；当一个软件想法被提出时，能够提供匹配的计算能力来验证该软件想法。
此外，当前的搜索或推荐系统不仅仅是字符或文本内容的搜索，还需要处理语音、视频等复杂内容。
自然语言处理也非常复杂。
这些需要深度神经网络处理。
人工智能和强大的计算能力。
Founder Park：NVIDIA目前的方向似乎越来越接近AI的应用层面，比如医学图像处理AI框架Monai、Tokkio。
未来会直接提供AI应用吗？石成秋：这些其实都是为了演示的demo。
它们展示了NVIDIA现有的软件框架和硬件设备能够达到的效果以及能够提供的服务。
用户可以根据自己的需求进行深度二次开发。
例如，医学影像的辅助诊断可以提示该CT的某个位置可能存在一些问题，提示医生对某些位置进行额外的关注；而这并不是NVIDIA的最后一次应用。
医疗级设备的要求非常严格，NVIDIA必须与客户共同开发，才能制造出符合当地法律并符合医院管理局要求的医疗设备；这足以证明NVIDIA不会直接提供应用程序。
NVIDIA首先需要保证的是硬件的计算能力和功能。
之后，它会创建一个软件开发工具包和中间的一些操作框架，然后层层叠加软件栈，最终让用户得到一个开箱即用的软件。
开发环境； NVIDIA 创建的是开箱即??用的开发环境，而不是开箱即用的实际案例。
人工智能不是一种消费形式。
它必须建立在整个行业构建的复杂生态系统之上。
因此，NVIDIA不会直接推出AI应用产品。
我们所做的就是在平台上提供完整的软件堆栈服务。
层。
02 Omniverse致力打造平等的元宇宙方正园：从产品上来说，我们为什么要打造Omniverse核和Omniverse云？它们与一般的数据库、云有什么区别？石成秋：数据库的描述不准确。
我们做的叫做MDL（材质描述语言），可以描述物体的粗糙度、重力、光反射等；你可以把它想象成一个包罗万象的元宇宙数据库，其中包含所有对象。
长期以来，我们一直致力于MDL，用户可以自由添加素材；中国有一些独特的材料，我们有很多合作伙伴帮助制造这些材料；将 MDL 放在Omniverse和元宇宙身上 重要的是，建设者和参与者可以自由部署和使用这些元宇宙材料。
元宇宙必须提供统一、持续的随叫随到的算力，以实现“元宇宙人人平等”的理念； NVIDIAOmniverse云希望所有元宇宙建设者都能到云端参与元宇宙Nucleus生态环境的设计，算力不应该成为障碍。
云端的GPU算力保证了用户可以参与元宇宙的设计、构建、验证、训练、部署等环境。
Omniverse云通过Nucleus存储MDL素材，数据资产可以保留数据建模和一套完整的工作流程，然后通过我们的Omniverse连接器连接到数百个第三方合作伙伴的生态系统，创建整个元宇宙数字资产，这就是我们的设计初衷之一。
朴正恩：我注意到Omniverse正在尝试将以前计算机的人工智能和数据处理统一到一个产品中。
这是否也是Omniverse未来的产品方向？石成秋：是的。
Omniverse会有很多不同的需求。
比如，如果有人要做复杂的AI训练、机器人或者自动驾驶训练，首先需要比较高的计算能力，然后Omniverse的环境也需要。
1:1数字孪生，比如还原街道、城市，需要让车辆体验春夏秋冬、阴天、晴天、雨雪等各种天气状况，让车辆实现闭环训练期间的硬件，它会认为它是在现实世界中。
火车。
另外，对于环境来说，汽车的碰撞也必须产生与现实世界中相同的反馈。
撞墙、撞电线杆、撞动物、撞人的反馈是不同的。
这些都需要模拟，以及人工智能、光线追踪、图形计算、深度神经网络，甚至语言模型。
因为还涉及到人机交互，所以这些元素很自然地集成到一个系统中。
事实上，当所有因素结合在一起时，我们认为是元宇宙。
Park Founder：这次也发布了一些硬件系统，比如NVIDIA OVX。
其背后的想法是什么？石成秋：OV是Omniverse的缩写；我们的OVX非常强大，有8块显卡和非常先进的网络CPU存储。
新发布的OVX采用了Ada Lovelace架构的L40显卡。
将这些先进设备组合到OVX中可以为元宇宙提供计算能力。
大力支持；多个OVX组成的OVX SuperPOD为Omniverse计算系统集群提供基础硬件支持。
OVX很快就会面世，但这也算是我们的公版设计。
我们的合作伙伴将提供经过NV认证的OVX系统，为用户提供演示——我们的OVX可以使用系统堆叠的集群来支持特殊应用。
元宇宙的计算能力。
OVX硬件系统|来源：NVIDIA官网 方正朴：Omniverse目前有哪些应用扩展？石成秋：Omniverse的拓展非常丰富。
例如，设计师可以在线协作。
NVIDIA在本次GDC大会上发布的技术演示是由来自不同国家的工程师和Omniverse通过在线分工协作完成的；在这个过程中，每个人负责不同的部分，使用不同的应用程序。
，Omniverse就是做应用协作，构建、创作、观看3D世界等方面的分工。
比如建造元宇宙的时候，不可能把地球上的一切都一一画出来。
可以使用人工智能来生成它。
Omniverse复制器可以根据相机拍摄的内容生成3D模型，这些3D模型可以立即导入元宇宙。
一般来说，这称为合成数据，具有物理真值，符合自然物理定律。
Omniverse可以让所有元宇宙的创造者和用户更好地管理和运行这个模拟世界，让整个团队在Omniverse身上共同设计、编程、优化、部署和训练基于人工智能的深度神经网络。
一系列的网络应用和服务。
比如自动驾驶汽车、机械臂、服务机器人等的训练都可以直接在元宇宙进行。
朴正恩：不久前，你们推出了OmniverseACE。
英伟达对于未来虚拟人类的理解是怎样的？石成秋：NVIDIA的云原生开发工具叫ACE（Avatar Cloud Engine），就是虚拟图像的云引擎。
我们对虚拟人的标准非常高。
虚拟人必须逼真，符合自然规律，物理准确，需要光线追踪，并且有与人相匹配的头发、皮肤、表情和嘴形。
能够伪造真实的东西，是虚拟人所能达到的高度。
在此基础上，还需要与光线追踪、人工智能、物理模拟等一系列的配合。
Omniverse利有一个产品叫Audio2Face。
通过输入一段话，它可以自动将这段话投射到CG角色的脸上，并根据这段话的上下文，自动识别喜怒哀乐，并相应投射出丰富的面部表情。
Omniverse还有一个名为 Machinima 的小组件，它使用机器学习来创建电影场景。
通过单个普通民用摄像机捕捉到的动作，人体骨骼、关节、肢体语言以及每一个肢体动作都可以在虚拟人上实时1:1模拟。
03 NVIDIA基于元宇宙的基础服务商方正朴：NVIDIA如何定义元宇宙？石成秋：从Web1.0到Web2.0再到今天的Web3，首先是移动互联网的出现，然后大家随时随地都在线。
在Web3的王牌中，它也应该永远在线。
NVIDIA将元宇宙定义为使用USD（Universal Scene Description，一种用于描述虚拟世界的可扩展通用语言）来连接所有数字资产。
地球上的一切都可能进入元宇宙，利用现有的第三方ISV软件来描述这些数字资产，以为桥梁，通过Omniverse连接器连接各种格式的数字资产，成为实时的3D互联网。
过去的人们绝对不会想到互联网会成为生活的重要组成部分。
元宇宙最终会变成什么样子是无法预测的。
NVIDIA作为全软件栈服务提供商，在硬件算力和软件切换方面都能做得很好。
能力、软件SDK等一系列框架作为基础服务提供者，帮助用户共同打造元宇宙。
Park创始人：NVIDIA创建的虚拟世界为什么追求与现实世界的相似度？黄甚至表示“粒子物理定律、重力、电磁学……压力和声音”应该适用于元宇宙。
石成秋：元宇宙早期肯定会是一个让用户先体验、探索的过程，但如果元宇宙和现实世界没有交集，那么元宇宙最终会变成一个科幻世界。
早期的科幻小说可以说是对未来世界的憧憬，而现在的元宇宙也可能是未来某个时刻现实社会的表达；如果元宇宙中的内容能够在现实社会中得到验证，将为科技的发展做出贡献。
例如，美国的零售商店通过增强现实将元宇宙的商店计划投射到店内展示的商品上，他们可以立即获得如何更合理陈列的反馈，增加用户的购买欲望；这是元宇宙的计划。
与现实的互动。
在元宇宙身上，各种猜想都可以被验证、训练、想象、实施，天马行空的想法都可以部署。
最后，它可以在某个时间点与物理世界连接； NVIDIA的GPU加速器是为了加速人工智能的发展，我们希望通过我们软硬件的一系列堆栈和环境的搭建，能够帮助各种计算环境实现加速，因为我们相信元宇宙有一天会成为在现实世界中实施。
虚拟世界最终要与现实世界耦合，虚拟世界的价值要回归现实世界，完成闭环。
Park创始人：AIGC（AI生成内容）最近很流行。
NVIDIA 在这个领域看到了什么？石成秋：从早期服务商提供内容，到用户提供内容，未来AI将独立生成和提供内容。
这是一个不可避免的三步演化过程。
未来元宇宙内容的丰富程度仍将依赖于人工智能生成的内容。
现在GauGAN可以帮助用户只需几笔就生成一幅大师级的艺术画。
这就是基于生成对抗网络的AIGC的内容。
在今年的图形会议 SIGGRAPH 上，NVIDIA 凭借一篇有关 AI 生成的论文获得了最佳论文奖。
论文的核心是将静态3D图像逆向渲染为动态3D建模。
英伟达此次发布的40系列显卡有一个最重要的特性，DLSS3，这是Deep Learning Super Sampling深度学习超采样技术的第三个版本。
它完全可以生成一张图片——一帧4K相当于四帧P。
我们只进行了1/8的计算。
每两帧4K图片只有一帧P的实际渲染计算，剩下的7/8全部由Ada Lovelace架构中的Tensor Core利用人工智能计算。
基于DLSS3，各种技术演示可以实现几何帧率提升。
这就是AIGC基于Ada架构中Tensor Core完成的人工智能而产生的。
AIGC是一项非常前沿的技术。
也是NVIDIA在图形上长期坚持的计算方式，甚至用AIGC变成了现在所谓的神经图形学、神经图形学。
Park创始人：游戏的世界其实是一个规则有限的世界，但元宇宙应该是一个实时生成的世界。
NVIDIA 如何应对这一挑战？石成秋：我们以游戏为例。
20世纪90年代，游戏NPC比较简单，只有一些固定的套路，了解后就变得无趣了。
现在设计游戏时，NPC可以由人工智能驱动，学习人类的操作模式。
《轨迹》不断进化NPC的操作逻辑和模式，给游戏带来更高的挑战和更多的乐趣。
利用深度神经网络，NPC 不仅可以学习人类模式，还可以独立学习。
想要学得又快又好，对深度神经网络和人工智能的要求非常高，需要强大的计算能力和后台支撑平台。
。
NVIDIA提供了耀明云，并提出了GDN（图形交付网络）的概念。
当需要复杂感的元宇宙替代或者交互时，GDN可以自动识别最接近用户的算力，并使用最佳的GPU配比进行处理。
加速并大幅提升用户体验。
Park Founder：NVIDIA已经做了硬件+系统软件+应用框架，为什么他们要做这一切？ NVIDIA 会成为一家垂直整合的公司吗？石成秋：我们其实没有那么大的野心。
首先，NVIDIA是一家半导体公司。
它首先设计半导体，然后将其交给合作伙伴进行生产和制造。
其次，我们的产品性能非常好。
如果我们不把我们的产品发挥到极致，那就是浪费。
我们拥有世界上最好的产品。
最好的团队成员，所以我提出构建一个软件堆栈。
从每一代数据中心GPU到边缘计算计算机Jetson，我们都会使用CUDA将它们连接在一起。
用户代码和产品统一架构，无需移植； A设备上的代码也可以在B设备上运行，优化后效率会更高。
在CUDA架构上，可以堆叠针对不同垂直行业的各种SDK。
为了方便用户和开发者，NVIDIA提供了一些开源容器，下载后可以立即使用。
Nvidia将自己定位为一个完整的软硬件堆栈平台提供商，从底层驱动和架构到整个产品的开发语言，再到开发组件、开发中间件、开发框架，最后是一些参考设计等，只要您注册一个账号就可以使用这样一套全面的全软件栈平台解决方案。
这是NVIDIA对自己的定义。
最终的目标是让硬件变得更好，让用户更好、更方便、更好、更高效地榨取我们硬件的性能。
创始人 Park：Nvidia 的应用领域包括医疗、自动驾驶、物理和化学研究以及前沿科学研究。
您会定义您的能力范围以及您不会触及哪些方面吗？石成秋：基本上我们不会定义自己的边界，因为GPU是一个处理器，可以用来做一般的运算。
当然，在某些领域，尤其是大规模变形操作，效率会更高； CPU 也有项目需要处理。
。
当我们看到市场有需求时，我们就会研究如何提供满足这个需求的产品；当某个垂直细分行业有需求的时候，我们就会有这个行业的SDK，比如现在。
自动驾驶汽车、医疗、机器人等各个细分领域已经相当热门。
只要市场有需求，用户有需求，我们就会安排。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-17
06-08
06-17
06-18
06-18
06-18
06-17
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态