通用的 AI 大模型，可滿足不少應用的需要。但在商用、科研等領域，便要考慮各監管機構的合規性。VMware 香港及澳門地區總經理藍建基（Franco）談及，越來越多企業部署訓練 Private AI，專供內部使用。
生成式 AI 被視為數碼轉型的一大動力，為企業整合及分析已有數據，進而利用這些資料創造新內容，提供不同導向。掌握這一技術對於香港的創科發展至關重要，然而，我們無法忽視生成式 AI 應用所帶來的數據主權隱憂。例如，於香港駐足的國際金融服務機構在儲存和跨區域傳送數據時所面對的合規要求和挑戰。另外，有鑒於近期出現的數據外洩事件，亦引起企業及投資者對網絡安全的擔憂。
了解通用 AI 大模型與 Private AI
通用 AI 大模型和 Private AI 在設計、目的和使用上都有所不同。選擇哪一種取決於特定的需求和應用場景。通用 AI 大模型（如Google Bard、OpenAI ChatGPT 等），提供通用的即用功能，適用於廣泛的應用情境，並對外開放使用。這些模型具有極其龐大規模，參數數量達到數百億量級。它們的訓練資料來源廣泛，包括公開網絡上的大量資訊。儘管它們具有高度的彈性，但相對而言，安全性和模型控制較低。
Private AI 是由個別企業或組織自行開發和訓練，模型規模較小，通常在數千萬到數十億個參數之間。訓練資料僅侷限在企業內部數據，並根據企業的需求進行自定義開發。雖然 Private AI 的使用彈性相對較低，但其安全性和模型控制更高，並可以深度客製化和優化，以滿足企業的獨特需求，應用包括客服聊天機人、產品推薦系統等。
Private AI 解決法規限制及資料隱私
隨著 AI 在不同範疇廣泛應用，通用的 AI 服務並不能滿足個別行業在專業服務的需要。對於運用 AI 會否增加私隱、機密洩露的風險，Franco 認為正是改用 Private AI 的重要原因。透過訓練 Private AI，機構可限制資料的運用方式，並設定不同級別的權限，可防止用戶取用重要資料。Franco 表示，目前各地政府也未有明確指引來監管 AI 應用，不過，各行業本身亦要依照其合規指引，以符合各監管機構的要求，例如金融機構須按照金管局的指引，在處理客戶資料上，有一定的嚴格守則。
對於 Private AI 的需求，Franco 認為是在不斷增加。「目前不少行業也在部署 Private AI，以配合內部需要，應用不單止在金融服務、電訊行業，也包括許多大專學府，利用 AI 協助研究項目等。」Franco 指：「Private AI 可讓各行業的機構、學府，更靈活地部署 AI 應用。以大專學府的研究項目為例，研究報告的成果，關乎院校是否能夠得獎、獲得注資，如利用公用的 AI 模型，便可能會將有關成果共享。」在 VMware Private AI，提供執行環境靈活使用 NVIDIA 或開放原始碼等各種人工智慧平台，部署、實現高效能，並提高生產力。
算力成建立 Private AI 的挑戰
AI 和數據科學，成為企業成功的不可或缺的組成部分，全球也在爭取運算能力，以滿足訓練 AI 模型的需要。VMWare 與 AI 晶片行業龍頭公司 NVIDIA 的合作，讓 AI 運算能力得以發揮至最高水平。NVIDIA 和 VMware 的 AI 解決方案，採用關鍵啟用技術，以協助企業實現 AI 的全面應用。透過完整整合平台，將 VMware+NVIDIA 人工智慧就緒企業平台、NVIDIA NeMo 框架與 VMware Cloud Foundation 上的 NVIDIA 和其他社群模型納入其中，進而建置、微調和建立私有生成式人工智慧模型。
加速 Private AI 三大元素
1. NVIDIA AI Enterprise Suite
NVIDIA AI Enterprise 是一個端到端的雲原生 AI 和數據科學應用程序和框架套件，由 NVIDIA 優化並獨家認證，可在支援 NVIDIA-Certified Systems 的 vSphere 上運行。它包括 NVIDIA 提供的關鍵啟用技術和軟件，用於快速部署、管理和擴展現代混合雲中的 AI 工作負載。NVIDIA AI Enterprise 的許可和支持由 NVIDIA 提供。
2. VMware vSphere
vSphere 則是企業工作負載平台，在全球數十萬組織中運行超過 7000 萬個工作負載。vSphere 將裸金屬伺服器（包括基於 CPU 和 GPU 的資源）轉化為集中管理的 AI 和機器學習基礎設施池，可以快速根據需求提供虛擬機器和容器。vSphere 優化性能，增加可用性，加強安全性，簡化維護，降低成本，創建了一個靈活、高效、具彈性和本質上安全的基礎設施平台，支援現有工作負載和下一代應用，如 AI。vSphere 已經升級，以最佳運行 NVIDIA AI Enterprise 軟件套件，充分利用 NVIDIA 最新的 GPU。
3. NVIDIA-Certified Systems
NVIDIA AI Enterprise 套件獲得了在 NVIDIA-Certified Systems 上運行的認證，包括基於 NVIDIA Ampere 架構的 GPU，如 NVIDIA A100 Tensor Core GPU。Ampere 架構中包含的 Tensor Core 技術為 AI 運算帶來了顯著的加速，從數週的訓練時間縮短到數小時，並為推斷提供了巨大的加速；NVIDIA Mellanox ConnectX SmartNICs 和 NVIDIA BlueField 數據處理單元（DPU）提供了一系列軟體定義的硬件引擎，用於加速網絡和安全性。
P04 方案可為人工智慧使用專家提供開發工具、框架和預先訓練模型，並為 IT 專業人員提供可靠的管理和協調功能，以確保效能、高可用性和安全性。
這些引擎實現兩者的最佳結合：最佳的 AI 訓練和推斷性能，同時確保企業數據的隱私、完整性和可靠性。結合 NVIDIA 和 VMware 技術的解決方案將為企業帶來更高的效率、更好的性能。在 AI-Ready 平台下，企業能夠更容易地採用 AI 技術，不僅能夠提高生產力，還能夠在不斷變化的數字時代中保持競爭力。
Source： ezone.hk