AWS re:Invent 2024|Apple應用AWS Graviton及Inferentia 機器學習效率升逾40%

| 李兆城 | 04-12-2024 22:18 |
AWS re:Invent 2024|Apple應用AWS Graviton及Inferentia 機器學習效率升逾40%

AWS re:Invent 2024中,AWS 行政總裁 Adam Selipsky的專題演講請來Apple機器學習及人工智能高級總監Benoit Dupin,分享蘋果公司對AWS GenAI 基礎設施的投入。Benoit Dupin指,AWS與Apple共同加速機器學習和 AI 模型的訓練和推理,以構建獨特功能和提升用戶體驗,並支持其全球規模的運營。

AWS Graviton和Inferentia提升效率

Benoit Dupin指,AWS與Apple的合作已超過十年,並提供可靠、高效能的基礎設施,以支持其機器學習和 AI 發展。Apple 的許多服務,如 iCloud、音樂、Apple TV+、新聞、App Store、Siri 和地圖,也利用 AWS 的全球規模和快速創新能力。隨著 Apple 推出Apple Intelligence,需要進一步擴展其訓練基礎設施,AWS也能滿足 Apple 對高效能加速器的需求。

Apple 運用 AWS 的多種服務,包括模型微調、訓練優化等,通過將 x86 和 G4 實例分別遷移到 Graviton 和 Inferentia2,發現在部分機器學習服務中,實現超過 40% 的效率提升,大幅降低營運成本。

AWS Trainium 3 明年推出效能翻倍

Adam Selipsky預告,將於明年推出 Trainium 3 芯片,採用 3 納米製程,計算能力比 Trainium 2 提升兩倍,效能功耗比也提升 40%,滿足 GenAI 不斷發展的需求。另外,採用NVIDIA Blackwell晶片的P6 執行個體系列,也將於明年初推出,提供比目前 GPU 快 2.5 倍的運算速度。

Adam Selipsky強調,GenAI 將顛覆每個行業,AWS 將繼續引領 GenAI 技術的發展,為客戶提供更先進、更高效的雲端服務。

Source:ezone.hk

相關文章

Page 1 of 8