Red Hat 在其年度峰會 Red Hat Summit 2025 上，為全球企業及開發者描繪宏大的AI未來藍圖，除了發佈旗艦級企業作業系統 Red Hat Enterprise Linux 10 (RHEL 10)，更宣布啟動一個名為 llm-d 的全新開源專案。Llm-d 由 Red Hat 與多家行業巨頭共同發起，為生成式人工智能（Generative AI）時代下，大規模分佈式推理（Inference at Scale）的關鍵技術瓶頸，力求讓生產級的AI推理能力，如同Linux作業系統般普及和易用。
S一系列發布，連同Red Hat在現代化IT基礎設施、混合雲策略以及自動化技術上的持續投入，清晰地顯示其引領企業全面擁抱人工智能、加速業務創新及重塑行業格局的決心。Llm-d 社群匯聚業界的頂尖力量，創始貢獻者包括 Red Hat 自身、雲端渲染及AI基建供應商 CoreWeave、Google Cloud、IBM Research 以及圖形處理與AI運算領導者 NVIDIA。此外，該項目亦獲得 AMD、Cisco、開源AI平台 Hugging Face、Intel、AI雲端服務商 Lambda、大型語言模型開發商 Mistral AI 等行業領導者，以及加州大學柏克萊分校（著名開源推理框架 vLLM 的發源地）和芝加哥大學（KV快取優化技術 LMCache 的發源地）等頂尖學術機構的廣泛支持。
RHEL 10 奠基 AI 部署 llm-d 直擊推理瓶頸
Red Hat 總裁暨執行長 Matt Hicks 在接受傳媒訪問時強調：「RHEL 10 的推出，結合 OpenShift 平台及其虛擬化技術（OpenShift Virtualization）的進展，以及 Ansible 自動化能力的加持，共同為客戶部署和運行 AI 工作負載奠定堅實的基礎。」他指出，穩固且高效的底層作業系統是承載複雜AI應用的前提，而 RHEL 10 正是為此而生，為企業提供構建現代化、AI就緒IT環境的核心組件。
在此基礎之上，llm-d 專案的啟動則標誌著紅帽將其技術視野推向AI應用的最前沿 — 推理階段。Red Hat AI技術長暨資深副總裁 Brian Stevens 指出：「雖然訓練至關重要，但生成式AI的真正影響力取決於更高效、更具擴展性的推理。這是將AI模型轉化為可行洞察和用戶體驗的引擎。」隨著AI模型，特別是大型語言模型（LLM）的規模和複雜性日益增加，傳統的集中式推理模式在成本和延遲方面已逐漸成為制約AI創新和普及的瓶頸。llm-d 的目標正是要打破這一瓶頸，通過開源協作，打造一個專為大規模分佈式推理而設計的解決方案。
llm-d 核心技術創新 解鎖分佈式AI潛能
llm-d 專案基於雲原生的 Kubernetes 架構進行構建，並利用 vLLM 框架。vLLM 近年來已迅速成為開源推理伺服器領域的事實標準，而 llm-d 則將能力從單機擴展至大規模集群。其核心創新技術涵蓋多個層面：首先是深度整合 vLLM，確保能即時支援最新的前沿大型語言模型，並兼容包括 Google Cloud TPU 在內的廣泛AI加速器硬件。其次，透過「預填充與解碼分離」（Prefill and Decode Disaggregation）技術，llm-d 能夠將AI模型處理輸入（預填充階段）和生成輸出（解碼階段）的過程有效分離，並分佈到不同的伺服器上並行處理，大幅提升處理效率。
另一項關鍵創新是「KV快取卸載」（KV Cache Offloading）。該技術基於 LMCache 演算法，能夠將大型模型推理過程中產生的大量KV快取數據，從成本高昂且容量有限的GPU記憶體中，轉移到更具成本效益的標準系統記憶體或高速儲存上，從而釋放寶貴的GPU資源，容納更大規模的模型或處理更多並行請求。此外，llm-d 利用 Kubernetes 的強大調度能力，高效管理和調度分佈式環境中的計算與儲存資源，力求在保持高性能的同時降低延遲。其內建的「AI感知網路路由」機制，則能智能地將用戶請求導向至最有可能擁有相關「熱快取」數據的伺服器節點，進一步優化響應速度。配合支援 NVIDIA NIXL 等技術的高效能通訊API，llm-d 能有效加速伺服器間的數據傳輸，為分佈式推理提供堅實的網絡基礎。Matt Hicks 對此解釋道：「vLLM 如同在單台機器上運行模型，而 llm-d 則能將其擴展到整個叢集。這允許客戶在任何模型、任何加速器、任何雲上運行自己的模型，實現無限的AI潛力。」
開源協作共塑未來 AI價值超越短期炒作
Red Hat 資深副總裁暨產品長 Ashesh Badani 強調：「開源若沒有社群支持，就只是一堆文字。」他認為，Llm-d 能夠匯聚眾多頂尖的模型提供商、AI加速器先驅、雲平台領導者以及學術機構，這種跨界別、深層次的協作，正是該項目未來成功的關鍵所在，亦是開源模式獨有的優勢。
面對外界對當前AI熱潮是否過度炒作的疑慮，Red Hat 技術長 Chris Wright 等多位 Red Hat 高層也表達信心，認為人工智能所產生的明確商業價值和對行業的深遠影響，遠非過往某些短暫的技術趨勢（如加密貨幣）可比。他們更傾向於將AI的發展類比為雲端運算的興起，視其為IT領域一次根本性的、影響深遠的變革，其發展速度甚至更快，並且已經在實際應用中幫助企業解決複雜挑戰、提高生產力並創造新的營收來源。
亞太市場潛力龐大 紅帽深化本地生態系統
在全球AI版圖中，亞太地區的發展潛力尤為突出。Red Hat 資深副總裁暨營收長 Andrew Brown 指出，亞太地區在全球AI市場中的佔比高達35%，顯示出其巨大的增長空間和市場機遇。他表示，Red Hat 正積極透過其在亞太區深厚的客戶基礎、廣泛的合作夥伴網絡以及本地化的共同創作（Co-creation）團隊，全力推動區內的AI創新和應用落地。
為配合這一策略，Red Hat 產品生態系統成功資深副總裁 Stefanie Chiras 亦提到，最新發布的 RHEL 10 中推出一項全新的「合作夥伴驗證計畫」（Partner Validation Program）。該計劃簡化和加速獨立軟件供應商（ISV）在RHEL平台上驗證和部署其AI應用程式的流程，特別是在亞太等快速增長的市場，有助於構建更蓬勃的本地AI生態系統，為客戶提供更豐富的解決方案選擇。
OpenShift 虛擬化乘勢而上 混合雲成AI發展必然
在企業IT架構現代化方面，Red Hat 的 OpenShift 容器平台及其內建的 OpenShift Virtualization 技術持續受到市場關注。Ashesh Badani 指出，尤其在當前虛擬化市場格局出現變動的背景下，OpenShift Virtualization 為企業客戶提供一個現代化、開源且具備成本效益的替代方案，用以管理虛擬機器和容器化應用。他引用福特汽車（Ford）、阿聯酋國家杜拜銀行（Emirates NBD）等大型企業的成功案例，以及採用該方案後客戶有望顯著降低總體擁有成本（TCO）的潛力，來證明其市場價值和競爭力。
Stefanie Chiras 強調，Red Hat 與 AWS、Microsoft Azure、Google Cloud 等全球主要雲端服務供應商的緊密合作關係，確保客戶無論選擇在本地數據中心、私有雲還是公有雲環境中部署，都能獲得一致且功能強大的虛擬化與AI平台支援。這種跨雲的一致性，對於企業實施靈活的混合雲策略至關重要。談及混合雲的未來，Matt Hicks 總結指，AI技術的蓬勃發展，實際上進一步鞏固和加速混合雲架構的必要性，因為AI運算和數據處理往往需要更貼近數據源和實際應用場景，以滿足低延遲、數據主權和成本效益等多方面需求。針對開源AI模型的安全性問題，Chris Wright 認為，開源模式的透明度反而有助於透過社群的共同努力來提升安全性，Red Hat 將持續在這方面投入並與社群合作。未來，Red Hat 亦視AI代理（AI Agents）為一個重要的發展方向。
Source：Red Hat