|
世界領先開放原始碼軟體解決方案供應商 Red Hat 今日宣布推出 Red Hat AI Inference Server，邁出生成式 AI（gen AI）普及至混合雲的重要一步。作為 Red Hat AI 的全新企業級推論伺服器，此解決方案不僅源自於強大的 vLLM 社群專案，更透過 Red Hat 整合 Neural Magic 技術加以強化，提供更快的速度、更高的加速器效率與更佳的成本效益，促進實現 Red Hat 的願景，亦即能於任何雲端環境、任何 AI 加速器上執行各種生成式 AI 模型。無論是獨立部署，或是作為 Red Hat Enterprise Linux AI（RHEL AI）及 Red Hat OpenShift AI 的整合元件，此突破性平台賦能企業能更自信地在生產環境中部署與擴展生成式 AI。 推論（Inference）是 AI 的關鍵執行引擎，預先訓練模型得以借助此步驟將資料轉化為實際影響的結果。推論作為使用者互動的樞紐，需要迅速且準確的回應。隨著生成式 AI 模型日益複雜，加上生產環境部署規模擴增，推論可能成為一大瓶頸，不僅會消耗大量硬體資源，更可能導致回應速度遲緩並提升營運成本。為了大規模釋放 AI 真正的潛力，並且更從容地應對其潛在的複雜性，強大的推論伺服器已不再是奢侈品，而是必要條件。 為應對上述挑戰，Red Hat 全新推出 Red Hat AI Inference Server，該開放式推論解決方案是專為高效能設計，並搭配頂尖的模型壓縮（model compression）與最佳化工具。此創新能提供反應更加靈敏的使用者體驗，同時企業在選擇 AI 加速器、模型及 IT 環境時得以享有前所未有的自由度，進而充分釋放生成式 AI 的轉型動能。 Red Hat 副總裁暨AI 事業部總經理 Joe Fernandes 表示：「推論是生成式 AI 真正展現價值的地方，在這個階段，特定的模型能為使用者互動提供快速、準確的回應，但這個過程必須以有效且具成本效益的方式實現。Red Hat AI Inference Server 旨在滿足大規模、高效能、高回應性推論的需求，同時維持低資源耗用，進而提供通用推論層，支援在任何環境、任何加速器上執行的任何模型。」
vLLM：擴充推論創新
Red Hat AI Inference Server 是建置於引領業界的 vLLM 專案之上。此社群專案是由加州大學柏克萊分校於 2023 年中啟動，可提供高傳輸量的生成式 AI 推論、支援大型內容輸入、多 GPU 模型加速並支援連續批次處理等眾多功能。 vLLM 不僅廣泛支援公開可用的模型，更能從 Day 0 即整合 DeepSeek、Gemma、Llama、Mistral、Phi 等模型，以及開源企業級推理模型（reasoning models）如 Llama Nemotron，推動其成為未來 AI 推論創新的實質標準。頂尖模型的供應商正積極擁抱 vLLM，進一步鞏固 vLLM 在塑造生成式 AI 未來時扮演的關鍵角色。 Red Hat AI Inference Server 簡介
Red Hat AI Inference Server 整合 vLLM 的頂尖創新技術，並將其打造成 Red Hat AI Inference Server 中的企業級功能。Red Hat AI Inference 提供獨立的容器化版本，亦可作為 RHEL AI 及 Red Hat OpenShift AI 的一部分。 Red Hat AI Inference Server 可於跨環境中部署，賦能使用者穩固且受支援的 vLLM 發行版，同時具備以下亮點：
●智慧型 LLM 壓縮工具：能大幅縮減基礎模型與微調 AI 模型的規模，將運算資源消耗降至最低，同時維持模型的準確性（甚至可能提升）。
●最佳化模型存放庫：該功能託管於 Hugging Face 上並使用 Red Hat AI 的企業，其使用者得以即時存取一系列經過驗證與最佳化的頂尖 AI 模型，這些模型已準備就緒可供推論部署，有助於在不損害模型準確性的前提下，將效率提升 2 至 4 倍。
●Red Hat 的企業級支援：結合 Red Hat 數十年來將社群專案成功導入生產環境的深厚專業知識。
●第三方支援：提供更多的部署彈性，只要遵循 Red Hat 的第三方支援政策，使用者就能將 Red Hat AI Inference Server 部署於非 Red Hat 的 Linux 及 Kubernetes 平台。 Red Hat 的願景：任何模型、任何加速器、任何雲端。
AI 的未來應由無限機會所定義，而非受限於基礎架構孤島。Red Hat 對未來的展望是，企業能於任何雲端、任何加速器上部署任何模型，並在合理成本的前提下提供卓越且更一致的使用者體驗。為充分釋放生成式 AI 投資的真正潛力，企業需要通用的推論平台，這將成為現今及未來實現更無縫、高效能 AI 創新的標準。 正如 Red Hat 曾將 Linux 轉型為現代 IT 的基石，開創了開源企業的先河，如今 Red Hat 也將擘劃 AI 推論的未來。vLLM 擁有成為標準化生成式 AI 推論關鍵核心的潛力，Red Hat 不僅持續致力壯大 vLLM 社群，也同時推動大規模分散式推論的 llm-d，共同打造蓬勃發展的生態系。Red Hat 的願景非常明確，亦即無論 AI 模型、基層加速器或部署環境為何，vLLM 皆能成為新型態跨混合雲推論的開源標準權威。 - 新聞稿有效日期，至2025/06/21為止
聯絡人 ：Jenny
聯絡電話：0277187777
電子郵件：TA1@apexpr.com.tw
 上一篇：ShanLing 山靈 T-35 CD 播放機與旗艦耳機 巡迴試聽活動
 下一篇：Red Hat Enterprise Linux 10 全面推出
|
