Nvidia 2024 AI Event: Everything Revealed in 16 Minutes

CNET

18 Mar 202416:00

Summary

TLDR本次演讲介绍了Blackwell平台，一种新型的GPU架构，拥有28亿个晶体管和10TB每秒的数据传输速度。Blackwell芯片通过创新的设计实现了两个芯片的无缝连接，消除了内存局部性和缓存问题。此外，还推出了MVY链接交换机芯片，拥有50亿个晶体管和1.8TB每秒的传输速度，旨在实现GPU之间的全速通信。演讲还强调了NVIDIA与各大公司合作，推动AI时代的发展，包括与SAP、cohesity、snowflake等公司的合作案例，以及NVIDIA AI Foundry的推出，旨在帮助企业构建AI工厂。最后，介绍了Omniverse和Isaac Sim等工具在机器人学习中的应用，展示了AI和机器人技术的未来发展方向。

Takeaways

🚀 黑威尔（Blackwell）是一款拥有280亿晶体管的创新芯片，它改变了传统GPU的设计方式。
🔗 黑威尔芯片通过独特的设计，实现了两个Die之间的高速互联，仿佛它们是一个整体。
🌐 黑威尔芯片能够提供每秒10TB的数据传输速度，消除了内存局部性问题和缓存问题。
💻 黑威尔芯片兼容现有的Hopper系统，可以无缝替换，为现有基础设施带来升级。
🔄 黑威尔芯片的推出，预示着计算能力的巨大飞跃，尤其是在生成式AI时代。
🌟 黑威尔芯片采用了名为FP4的新格式，这是其内容标记生成的核心。
🔧 黑威尔芯片的推出得到了多个行业巨头的支持，包括AWS、Google、Microsoft等。
🤖 黑威尔芯片的推出，将助力构建更加强大的AI系统，如NVIDIA AI Foundry与SAP、cohesity、snowflake等公司的合作。
🌐 黑威尔芯片的设计和功能，将推动云计算和数据中心的发展，提升整体计算效率。
📈 黑威尔芯片的推出，标志着NVIDIA在高性能计算和AI领域的持续领导地位。
🎉 黑威尔芯片的发布，是NVIDIA在计算机图形学、物理学和人工智能交叉领域的最新成果。

Q & A

Blackwell是什么？
-Blackwell是一个平台，它改变了GPU的传统形态，拥有28亿个晶体管，并且是首个将两个Die以一种特殊方式结合在一起的芯片，使得两边没有内存局部性问题和缓存问题，就像一个巨大的芯片。
Blackwell芯片的两个Die之间是如何连接的？
-Blackwell芯片的两个Die之间通过一条小线连接，这是首次两个Die以这种方式结合在一起，它们之间的数据传输速度达到每秒10TB，使得两边感觉像是在同一个芯片上工作。
Blackwell芯片如何与现有的Hopper系统兼容？
-Blackwell芯片是形式、功能与Hopper兼容的，可以将Hopper滑入Blackwell，这是因为两者的基础设施、设计、电力需求和软件都是相同的。
Blackwell芯片的内存一致性是如何实现的？
-Blackwell芯片的两个部分没有任何关于它们位于芯片哪一侧的线索，它们之间没有内存局部性问题和缓存问题，实现了内存一致性，使得它们像一个大家庭一样共同工作。
Nvidia为生成式AI时代创建了哪种处理器？
-Nvidia为生成式AI时代创建了一种处理器，并且这种处理器的一个重要部分是内容标记生成，称为fp4格式。
MVY链接开关芯片有什么特点？
-MVY链接开关芯片拥有50亿个晶体管，几乎与Hopper的大小相当，这个开关芯片内置了四个MV链接，每个链接的速度为每秒1.8TB，并且它还包含计算功能。
Nvidia与哪些公司合作，共同推动Blackwell的发展？:
-Nvidia与包括AWS、Google、Microsoft、Oracle、SAP、cohesity、snowflake、netapp等在内的多家世界顶级公司合作，共同推动Blackwell的发展。
Nvidia AI Foundry提供的三种支柱服务是什么？
-Nvidia AI Foundry提供的三种支柱服务是NIMS（Nvidia推理微服务）、Nemo微服务和DGX Cloud。
Nvidia如何帮助企业构建AI工厂？
-Nvidia通过提供AI Foundry服务，帮助企业构建AI工厂，这包括使用Nemo微服务来准备和调整数据，使用NIMS进行推理，以及使用DGX Cloud进行大规模的AI训练和部署。
Omniverse和OVX在Nvidia的AI生态系统中扮演什么角色？
-Omniverse是Nvidia的虚拟世界平台，用于模拟和训练AI代理，而OVX是运行Omniverse的计算机，它托管在Azure云中，用于创建数字孪生和评估AI代理。
Nvidia的Jetson Thor机器人芯片有哪些特点？
-Jetson Thor机器人芯片是为未来设计的，具有Isaac实验室和Groot项目支持，能够处理多模态指令和过去的交互作为输入，并为机器人产生下一个动作。

Outlines

00:00

🚀 引领未来的Blackwell芯片

介绍了Blackwell芯片的创新设计和功能，包括其28亿个晶体管、10TB/秒的数据传输速度以及无内存局部性和缓存问题的特点。强调了Blackwell芯片在两种系统中的应用，以及与Hopper的兼容性和挑战。此外，还提到了为生成AI时代创建的处理器、内容令牌生成格式fp4，以及为了满足计算需求而开发的另一个芯片——mvy链接交换机。

05:00

🤖 与行业巨头合作的AI生态系统

描述了Nvidia与多个行业巨头合作，共同推动AI技术的发展。提到了与Google、AWS、Oracle和Microsoft等公司的合作项目，如Google的Gemma模型、AWS的机器人和健康项目、Oracle数据库和Microsoft Azure的Nvidia生态系统。强调了Nvidia AI生态系统的三个支柱：NIMS、Nemo微服务和DGX云，以及与SAP、cohesity、snowflake和net app等公司的合作案例。

10:00

🌐 Omniverse和AI机器人的未来

讨论了Omniverse作为模拟引擎的重要性，以及ovx计算机在Azure云中的托管。强调了数字孪生技术在重工业中的应用前景，以及AI代理在复杂工业空间中导航的能力。提到了Nvidia Project Groot作为通用基础模型，以及Isaac Sim和Osmo在机器人学习中的应用。最后，介绍了Jetson Thor机器人芯片和Nvidia在AI驱动的机器人领域的贡献。

15:02

🎉 Blackwell芯片的里程碑

总结了Blackwell芯片的主要特点，包括其作为GPU的创新设计和系统设计的奇迹。强调了Blackwell芯片对于未来发展的重要性和意义。

Mindmap

Keywords

💡开发者大会

这是一个聚集软件开发者、工程师和科技公司的会议，用于分享最新的技术进展和产品发布。在视频中，开发者大会是展示新技术和交流科学理念的平台，如Blackwell芯片的介绍。

💡Blackwell

Blackwell是NVIDIA推出的一款新型芯片平台，它拥有28亿个晶体管，并且在设计上进行了创新，使得两个芯片模块（Dies）紧密相连，仿佛是一个整体。这种设计大幅提升了数据处理速度和内存一致性。

💡GPU

GPU是图形处理单元（Graphics Processing Unit）的缩写，是一种专门处理图像和视频渲染的微处理器。在视频中，NVIDIA强调他们确实制造GPU，但新一代的GPU在外观和性能上都有了革命性的变化。

💡内存一致性

内存一致性是指在多处理器系统中，各个处理器访问同一块内存时，看到的是一致的数据状态。这是并行计算中的一个重要概念，确保了数据的同步和一致性。在视频中，Blackwell芯片的设计使得两个芯片模块之间实现了内存一致性，大幅提升了计算效率。

💡MVY链接开关

MVY链接开关是一种高速网络设备，拥有50亿个晶体管，能够实现高达1.8TB每秒的数据传输速率。它使得每个GPU能够以全速与其他GPU通信，构建起高效的计算网络。

💡AI代工厂

AI代工厂是指为其他公司提供人工智能技术和服务的机构，帮助他们构建和优化AI应用。在视频中，NVIDIA将自己定位为一个AI代工厂，提供包括NIMS、Nemo微服务和DGX云在内的一系列工具和服务，以支持合作伙伴的AI发展。

💡数字孪生

数字孪生是一种通过数字模型精确表示物理对象或系统的概念。这种技术可以用于模拟和预测实体对象在现实世界中的行为。在视频中，数字孪生被用于机器人学习，以便它们能够在虚拟环境中进行训练和评估。

💡Omniverse

Omniverse是NVIDIA推出的一个开放的、多GPU加速的模拟和协作平台，用于创建和模拟复杂的物理和工程系统。它为设计师、工程师和其他专业人士提供了一个共享的虚拟环境，以实现高效的协作和创新。

💡机器人学习

机器人学习是指机器人通过人工智能算法和大量数据来学习如何执行任务、做出决策和适应环境的过程。在视频中，NVIDIA开发了Isaac Sim这样的机器人学习应用，以及Project Groot这样的通用基础模型，用于训练机器人执行日常任务。

💡Jetson Thor

Jetson Thor是NVIDIA推出的一款专为机器人设计的高性能计算芯片，它结合了先进的AI技术和强大的计算能力，用于支持下一代AI驱动的机器人和自动化系统。

💡Nemo微服务

Nemo微服务是NVIDIA提供的一项服务，旨在帮助用户准备和管理数据，以便在AI模型上进行训练和微调。这项服务提供了数据策划、准备和评估的功能，使得用户能够更有效地利用AI技术。

Highlights

Blackwell平台的介绍，它改变了人们对GPU的传统认知。

Hopper拥有280亿个晶体管，改变了世界，Blackwell继承了这一创新。

Blackwell芯片的独特设计，两个芯片紧密连接，数据传输速度达到每秒10TB。

Blackwell芯片的内存一致性，消除了内存局部性问题和缓存问题。

Blackwell芯片可以无缝替换现有的Hopper系统，保持基础设施、设计、电力和软件的一致性。

介绍了Blackwell芯片的两种系统类型，包括与当前hgx配置兼容的版本。

展示了Blackwell芯片的原型板，这是一个完全功能的板子。

介绍了MVY链接交换机芯片，拥有50亿个晶体管和1.8TB每秒的数据传输速度。

MVY链接交换机芯片允许每个GPU以全速与其他GPU通信，构建强大的系统。

展示了一个dgx系统，这是一个exaflops AI系统，具有极大的计算能力。

合作伙伴加入Blackwell，包括构建安全AI的GPU和大规模AI系统的公司。

Nvidia与多个行业巨头合作，包括AWS、Google、Microsoft和Oracle，共同推动AI技术的发展。

Nvidia AI Foundry与SAP合作，利用Nemo和dgx Cloud服务构建SAP Jewel co-pilots。

Nvidia AI Foundry帮助cohesity构建GIA生成AI代理，以及与snowflake合作构建co-pilots。

Nvidia与Dell合作，为企业提供构建AI工厂的能力，以运行大规模企业系统。

Omniverse作为虚拟世界，为机器人提供学习环境，ovx计算机在Azure云中托管。

Nvidia Project Groot是一个通用的基础模型，用于类人机器人学习，使用Isaac Sim和Osmo进行训练。

Jetson Thor机器人芯片为未来AI驱动的机器人提供动力，展示了Disney的BDX机器人。