生成式人工智慧(AI)的运算需求持续增加，资料中心的效能也必须跟上。NVIDIA将於Hot Chips大会展示可提升资料中心效能，与能源效率的技术。NVIDIA Blackwell是全堆叠运算架构，由多种NVIDIA晶片组成，包括Blackwell GPU、Grace CPU、BlueField资料处理单元、ConnectX网路介面卡、NVLink Switch、Spectrum乙太网路交换器和Quantum InfiniBand交换器。NVIDIA架构总监Ajay Tirumala与Raymond Wong将介绍Blackwell平台，并且解释这些技术如何相互配合，在提高能源效率之际，如何建立AI与加速运算效能的全新标准。
NVIDIA GB200 NVL72就是一个例子。这个一个多节点、液冷、机架规模的解决方案，能够连接72个Blackwell GPU和36个Grace CPU。LLM推论作业需要低延迟、高输送量的词元产出。GB200 NVL72可以统掌全局，将大型语言模型(LLM) 工作负载的推论速度提高30倍，能够即时执行有着上兆个参数的模型。
Tirumala与Wong将讨论NVIDIA Quasar Quantization系统如何支援让低精准度模型达到高精确度，并且重点介绍使用LLM与视觉生成式AI的范例。这个系统结合演算法创新、NVIDIA软体库与工具，以及Blackwell第二代Transformer引擎。
保持资料中心低温
随着研究人员开发出结合气冷与液冷的混合式冷却技术，以更有效率且更符合永续精神的方式解决资料中心的冷却问题，以前使用气冷式技术所发出的嗡嗡声，或许会从此消失。液冷技术比气冷技术可以更有效率地将热度从系统中带走，使得运算系统在处理大量工作负载时，同样能保持低温。而与气冷系统相比，液冷设备占用的空间更小，用电量也更少，资料中心便能加入更多伺服器机架，以提高运算能力。
NVIDIA资料中心冷却与基础设施部门总监Ali Heydari，将介绍数种设计采用混合式冷却技术资料中心的方式。部分设计是将现有的气冷式资料中心改为使用液冷式装置，以简单方便的方式为现有机架加入液冷功能。其他设计则需要安装管道，以便使用冷却液分配装置，或将伺服器完全浸入冷却槽，以液冷方式直接冷却晶片。这些选项虽然一开始要投入较大金额，却能大幅节省能源消耗量和营运成本。
Heydari也将分享他的团队在进行美国能源部，开发先进资料中心冷却技术COOLERCHIPS计画的部分研究成果。该团队在这项计画中使用NVIDIA Omniverse平台来建立有着物理根据的数位分身模型，有助於模拟能源消耗情况和冷却效率，以设计出最佳的资料中心。
AI代理支援设计晶片
在极小的方寸之间要设计半导体，可谓一项艰钜难题。开发尖端晶片的工程师要在几英寸宽的晶片上，尽量塞入最大的运算能力，简直就是在测试物理上可能达到的极限。AI模型可以提高设计品质和生产力，提高人工作业流程的效率，自动执行耗时的工作，以支援工程师的工作。这些模型包括协助工程师快速分析和改善设计的预测和最佳化工具，以及可以协助工程师回答问题、产生程式码、执行设计除错等作业的LLM。
LLM驱动的AI代理能接受指导後自主完成任务，就能在各行各业中创造出更多的应用方式。NVIDIA研究人员正在开发以代理为基础的系统来协助设计晶片，这些系统能够使用自订的电路设计工具进行推论并采取行动、与经验丰富的设计人员互动，并且从人类与代理的经验资料库中学习。
NVIDIA Blackwell演讲活动将於8月26日登场，当中将简单介绍该平台如何整合多种晶片、系统与软体以驱动发展下一代AI，并且将重点介绍新的架构细节，以及在Blackwell晶片上执行生成式AI模型的范例。而在此之前，8月25日将进行三场教学活动，内容将涵盖混合式液冷技术解决方案如何协助资料中心转换成为更节能的基础设施，以及包括LLM驱动的代理等AI模型如何协助工程师设计新一代晶片。这些内容共同展现出NVIDIA工程师如何在资料中心运算与设计的每个领域进行创新，以提供前所未有的效能、效率与最佳表现。
