建構主權AI基礎設施 GMI Cloud與WEKA化解產業痛點提升運算體驗

Fred表示，隨著AI逐步成為企業核心生產力工具，企業導入AI已不只是模型選擇問題，而是如何掌握資料、算力與模型主權。GMI Cloud

當生成式AI深入營運，企業面臨的挑戰已不再只是模型能力，而是後端基礎建設能否承接快速成長的運算需求。

「當AI服務突然不能用的那一刻，我才真正意識到，生產力其實已經建立在算力之上。」GMI Cloud前端技術總監Fred Jhang坦言，自己曾因常用AI工具遭遇流量限制而被迫中斷工作。他指出，當企業愈來愈依賴AI協助開發、客服或知識管理，基礎設施的重要性也正快速提升。

根據觀察，單一模型的Token需求在過去25個月內成長約330倍，隨著AI從大型語言模型逐步走向推理與自主代理階段，企業對算力、儲存與資料管理的需求也同步升高。

企業AI走向關鍵應用  主權成為新競爭力

為協助企業因應AI落地挑戰，GMI Cloud攜手WEKA，透過軟硬體整合打造企業級AI基礎設施。「企業真正的風險已不只是模型夠不夠強，而是核心能力是否掌握在自己手上。」Fred表示，許多企業目前仍高度依賴外部AI服務，但實際上正面臨三項風險。首先是資料與法遵問題，企業將客戶資料與商業機密上傳至海外服務時，可能涉及跨境傳輸與個資管理要求；其次是服務可用性風險，一旦模型供應商發生異常，企業應用也可能被迫停擺；最後則是供應商綁定風險，當模型價格調整、服務下架或版本變動時，既有Prompt與Agent流程往往需要重新設計。

因此，GMI Cloud主張企業應逐步掌握資料主權、算力主權與模型主權。Fred指出，主權AI談的並不只是自建模型，而是企業是否能掌握從資料、算力到AI服務的關鍵控制權，避免核心營運能力完全建立在外部供應商之上。

為此，GMI Cloud正於桃園龜山建置A1 Factory資料中心，規劃導入約7000顆NVIDIA GB300 GPU，提供企業在資料不離境前提下的AI運算環境。Fred指出，當AI逐漸成為企業核心營運能力，算力與資料基礎設施的重要性將如同ERP與資料中心一般，成為企業長期競爭力的一部分。

AI推論時代來臨  傳統儲存架構面臨新瓶頸

然而，當越來越多企業開始建立自己的AI環境，甚至追求資料、算力與模型的自主掌控後，儲存架構的重要性也被重新放大。

WEKA亞太區資深技術顧問吳岱侑觀察，AI工作負載正快速從訓練導向轉向推論導向。「訓練時代追求的是吞吐量，但推論時代追求的是反應速度。」他指出，企業今天在意的已不再只是能處理多少資料，而是能否在最短時間內取得答案。若以傳統儲存架構處理高度碎片化的推論需求，容易形成新的效能瓶頸。

他以物流運輸為例說明，AI訓練如同大型貨車搬運整櫃貨物，追求的是吞吐量；推論則更像機車快遞配送單件商品，講求即時反應速度。「如果用拖運貨櫃的方式來送一瓶酒，效率一定不會好。」吳岱侑說，當工作負載型態改變，底層架構也必須跟著改變。

為此，WEKA推出NeuralMesh軟體定義儲存架構，透過彈性擴展與智慧化資料調度，讓資料、運算與AI服務能跨環境整合運作，並提升GPU資源利用率。吳岱侑表示，企業不應再被迫在效能、成本與彈性之間做選擇，而是需要能隨AI工作負載變化動態調整的基礎架構。

從GPU到Agent  打造主權AI基礎設施

在雙方合作架構中，GMI Cloud負責GPU調度、模型服務與Agent應用平台；WEKA則提供高效能儲存與資料管理機制，共同建構全棧式AI平台。「企業導入AI最大的挑戰，從來不是模型，而是如何讓模型穩定、安全地進入正式營運環境。」Fred指出，隨著AI工作負載持續成長，未來競爭焦點也將從模型能力逐步延伸至算力、資料與儲存架構的整體整合能力，而企業能否掌握自己的資料、算力與模型能力，也將成為主權AI時代的重要競爭門檻。

透過雙方合作，企業不僅能降低AI基礎設施建置與維運複雜度，也能兼顧效能、治理與資料安全，加速AI從實驗走向營運。