人工智能（AI）熱潮持續，企業競相採用，但許多企業逐漸意識到，構建AI應用及管理和使用AI需投入大量資源。Red Hat近期推出多種解決方案，助企業釋放AI運算潛力，建立私人AI（Private AI）應用，提升AI使用的安全性與效率，同時提高投資回報率（ROI）。
現時企業開始大量使用AI，Red Hat台灣、香港、澳門及中國華南區區域總經理文志鋒（Peter） 表示，企業在使用或部署AI時，特別關注AI的安全性、效率、以及投資回報率（ROI），開源（Open source）平台就最為適合，可解決安全性問題。「正正因為開源平台，系統源碼全部可見，不可能藏有任何漏洞，即使有，都會被即時發現及移除。」
最高提升24倍GPU效能
生成式AI應用日益普及，企業可選擇多款大型語言模型（LLM），如DeepSeek、Gemma、Llama等。然而，隨著AI模型複雜度增加，推理過程耗費大量GPU資源，導致回應速度變慢及營運成本上升。為此，Red Hat推出AI推理伺服器（Red Hat AI Inference Server）解決方案，整合vLLM與Neural Magic技術，優化GPU運算效能，同時兼容多種AI模型。Red Hat 香港、澳門及台灣方案工程總監羅國柱（Albert）指出，當前GPU採購難度高，企業要提升投資回報率（ROI），必須充分釋放GPU效能。
新方案以容器（container）技術為基礎，羅解釋，新方案將預訓練模型轉化為實際應用成果，可節省75%的資源，並提升GPU效能430%。「透過AI模型量化（Quantization）壓縮技術，過去需要4張GPU的任務，現只需1張GPU即可完成，最高可釋放24倍效能。」他補充，雖然模型壓縮技術提升GPU效能的同時會略微降低AI準確度，但仍足以滿足企業需求。「在W8A8壓縮模式下，即50%壓縮率，準確度仍接近100%。」
企業逐步應用Private AI應用
企業逐步使用生成式AI，Red Hat亦為其開源平台推出更新版Linux 10版本，當中加入Lightspeed功能，可作為用戶的小助手，解決各種Linux系統操作及管理上的疑問及困難。惟企業使用生成式AI愈益頻繁，當中無可避免地要將企業敏感資料放到AI模型上分析，當中或出現資料外洩風險。羅表示，一方面，要將資料放上公有雲，其計費方式難以預算，或出現天文數字，其次，是數據安全問題。
因此，企業開始部署私人AI（Private AI）。羅舉例，有跨國企業客戶的HR部門需回應員工關於年度假期天數的查詢，但因各地公眾假期差異，難以提供統一答案，且當中涉及各地政府政策、企業文化及規範等複雜資料。他透露，現時開始有企業客戶部署Private AI，結合代理式AI（Agentic AI）在企業內部環境執行任務，可大大減低資料外洩風險。他補充，企業採用AI通常分為四個階段，而香港企業目前多處於第三至第四階段之間。
- 為非敏感的案例採用公有雲探索AI應用
- 在混合雲端環境中管理AI應用
- 將企業機密資料融入私人AI
- 使用私人Agentic AI自動化關鍵工作流程
羅表示，企業採用AI通常分為四個階段，而香港企業目前多處於第三至第四階段之間。他解釋，雖然企業使用生成式AI或成常態，但部署Private AI的企業仍是少數，且屬於初步應用階段。「當中的工作流程、案例都是一些非業務核心的工作流程及實驗性質，相信企業未來仍需時間去適應。」他建議，企業要安全地使用AI，必須要「Bring AI to your data，not bring data to your AI。」
Source：ezone.hk
【延伸閱讀】