GTC—NVIDIA正式宣布推出NVIDIA Blackwell AI Factory平台的新一代產品NVIDIA Blackwell Ultra,為AI推理時代鋪路。NVIDIA Blackwell Ultra增強了訓練和測試時間擴展推理(在推理過程中應用更多計算以提高準確性的藝術),使世界各地的組織能夠加速AI推理和物理AI等應用。

Blackwell Ultra基於一年前推出的突破性Blackwell架構構建,包括NVIDIA GB300 NVL72機架級解決方案和NVIDIA HGX™ B300 NVL16系統。GB300 NVL72的AI性能比NVIDIA GB200 NVL72高出1.5倍,同時與使用NVIDIA Hopper™建造的工廠相比,可將Blackwell的AI工廠收入機會提高50倍。

 

NVIDIA創辦人兼執行長黃仁勳表示:「人工智慧已經取得了巨大的飛躍——推理和代理人工智慧對運算效能的要求要高出幾個數量級。我們為此設計了Blackwell Ultra——它是一個單一的多功能平台,可以輕鬆高效地進行預訓練、後訓練和AI推理。」

NVIDIA Blackwell Ultra支援AI推理
NVIDIA GB300 NVL72採用機架級設計連接72個Blackwell Ultra GPU和36個基於Arm Neoverse的NVIDIA Grace™ CPU,充當為測試時間擴展而構建的單一大型GPU。借助NVIDIA GB300 NVL72,AI模型可以利用平台增強的運算能力來探索問題的不同解決方案,並將複雜的請求分解為多個步驟,從而獲得更高品質的回應。

GB300 NVL72預計也將在NVIDIA DGX™ Cloud上推出,這是一個領先雲端的端到端、完全託管的AI平台,可透過軟體、服務和AI專業知識優化不斷變化的工作負載的效能。搭載DGX GB300系統的NVIDIA DGX SuperPOD™採用GB300 NVL72機架設計,為客戶提供統包AI工廠。與Hopper世代相比,NVIDIA HGX B300 NVL16在大型語言模型上的推理速度提高了11倍,計算能力提高了7倍,記憶體增加了4倍,從而為AI推理等最複雜的工作負載提供了突破性的性能。


Blackwell Ultra平台也適用於以下應用
Agentic AI,它使用複雜的推理和迭代規劃來自主解決複雜的多步驟問題。人工智慧代理系統不只是遵循指令。他們可以推理、計劃並採取行動來實現特定的目標。物理人工智慧,使該公司能夠即時生成合成的、逼真的視頻,以大規模訓練機器人和自動駕駛汽車等應用程式。

NVIDIA橫向擴展基礎架構可實現最佳效能
先進的橫向擴展網路是AI基礎架構的關鍵組成部分,可提供最佳效能,同時減少延遲和抖動。Blackwell Ultra系統與NVIDIA Spectrum-X™乙太網路和NVIDIA Quantum-X800 InfiniBand平台無縫集成,透過NVIDIA ConnectX®-8 SuperNIC,系統中的每個GPU均可獲得800 Gb/s的資料吞吐量。這提供了一流的遠端直接記憶體存取功能,使AI工廠和雲端資料中心能夠無瓶頸地處理AI推理模型。NVIDIA BlueField®-3 DPU也出現在Blackwell Ultra系統中,可支援多租戶網路、GPU運算彈性、加速資料存取和即時網路安全威脅偵測。

全球技術領袖擁抱Blackwell Ultra
預計基於Blackwell Ultra的產品將從2025年下半年開始由合作夥伴提供。思科、戴爾科技、惠普企業、聯想和超微預計將提供基於Blackwell Ultra產品的各種伺服器,此外還有Aivres、ASRock Rack、華碩、Eviden、富士康、技嘉、英業達、和碩、廣達雲端運算科技(QCT)、緯創和Wiwynn。

雲端服務供應商Amazon Web Services、Google Cloud、Microsoft Azure和Oracle Cloud Infrastructure以及GPU雲端供應商CoreWeave、Crusoe、Lambda、Nebius、Nscale、Yotta和YTL將首批提供Blackwell Ultra支援執行個體。


NVIDIA軟體創新減少AI瓶頸
整個NVIDIA Blackwell產品組合均由全端NVIDIA AI平台支援。同時也宣布推出的NVIDIA Dynamo開源推理框架可擴展推理AI服務,透過提供最有效的擴展測試時間計算解決方案,實現吞吐量飛躍,同時減少回應時間和模型服務成本。

NVIDIA Dynamo是一款新型AI推理服務軟體,旨在為部署推理AI模型的AI工廠最大限度地提高代幣收入。它協調並加速數千個GPU之間的推理通信,並使用分解服務將大型語言模型的處理和生成階段分離在不同GPU上。這使得每個階段都可以根據其特定需求進行獨立最佳化,並確保最大限度地利用GPU資源。

Blackwell系統非常適合運行新的NVIDIA Llama Nemotron Reason模型和NVIDIA AI-Q Blueprint,這些模型和模型均在NVIDIA AI Enterprise軟體平台中獲得支持,可實現生產級AI。NVIDIA AI Enterprise包括NVIDIA NIM™微服務,以及企業可以在NVIDIA加速雲端、資料中心和工作站上部署的AI框架、程式庫和工具。

觀看NVIDIA創辦人兼執行長黃仁勳先生於NVIDIA GTC主題演講以了解更多信息(←請點選)


註:本篇報導圖文來源:NVIDIA Newsroom新聞發佈室。圖文版權歸屬於NVIDIA公司所有!