NVIDIA GTC發布Blackwell平台 超強GenAI運算效能快30倍、運作成本降25倍成焦點

| 李兆城 | 19-03-2024 09:17 | |
NVIDIA GTC發布Blackwell平台 超強GenAI運算效能快30倍、運作成本降25倍成焦點

NVIDIA 的股價近期大幅上漲,在今日正式揭幕的全球技術大會(GTC),也成為全球焦點。NVIDIA 行政總裁黃仁勳在會上展示Blackwell 運算平台,目標是為滿足處理大規模AI模型日益增長的需求,引領GenAI新世代。據指,平台不僅提供在數萬億參數規模的大型語言模型上構建和運行實時GenAI能力,相較於前代技術,效能快達30倍、成本和能源消耗降低達25倍。

NVIDIA Blackwell運算平台以數據科學家、AI研究人員和開發者為目標客戶群,Blackwell的推出目標是加速全球AI技術的創新步伐,推動人類邁向一個更加智能的未來。資料顯示,在FP8格式下,相比其前身NVIDIA Hopper架構,晶片的訓練性能提高2.5倍,而在FP4格式下進行推理時,性能提升更是達到5倍。此外,Blackwell採用第五代NVLINK互連技術,其速度是Hopper的兩倍,支持高達576個GPU的擴展,對於處理具有數萬億參數的大型語言模型來說,提供更強大的運算能力和靈活性。

NVIDIA GB200 Grace Blackwell Superchip將兩個Blackwell NVIDIA B200 Tensor Core GPU與NVIDIA Grace CPU通過一個每秒900GB的超低功耗NVLINK晶片到晶片互連技術相連。這種設計不僅大幅提高數據處理速度,而且在能耗控制上也取得顯著成效。GB200為高端AI性能需求提供強大的支撐,能夠通過NVIDIA Quantum-X800 InfiniBand和Spectrum-X800 Ethernet平台進行連接,這兩款今日同步推出的產品,提供高達800Gb/s的先進網絡速度。

極強運算能力

官方公布的GB200 NVL72是一款為最需計算密集型工作負載而設計的多節點、液冷、機架級系統。GB200 NVL72結合36顆Grace Blackwell Superchips,內含72顆Blackwell GPU和36顆Grace CPU,透過第五代NVLink互聯。此外,系統還配備了NVIDIA BlueField-3數據處理單元,進一步加速雲網絡、提供可組合存儲、零信任安全以及在超大規模AI雲中的GPU計算彈性。GB200 NVL72在大型語言模型(LLM)推論工作負載上,相較於同等數量的NVIDIA H100 Tensor Core GPU,性能提升達30倍,並將成本和能源消耗降低至多達25倍。

預期採用Blackwell的組織包括:AWS、Dell、Google、Meta、微軟、OpenAI、甲骨文、Tesla和xAI等。

NVIDIA NIM和Omniverse Cloud API:連接開發者和創新

NVIDIA 亦公布推出 NVIDIA NIM(NVIDIA推論微服務),為開發者提供一種新的軟件打包和交付方式,使他們能夠更容易地部署和應用定制AI解決方案。NVIDIA NIM讓開發者能夠利用NVIDIA廣泛的GPU資源,創建和部署各種AI應用。同時,Omniverse Cloud API的推出將AI的應用範圍擴展到物理世界,提供先進的仿真能力,為創建工業數字孿生體和驗證自動化機器,如機械人、或自動駕駛車提供強大的工具。

Source:ezone.hk、NVIDIA

 

相關文章

Page 1 of 12