是德科技推出AI推論模擬平台以驗證與優化AI基礎架構
- 李佳玲／台北
-
是德科技（Keysight Technologies Inc.）推出「是德科技AI推論建構器」（Keysight AI Inference Builder，簡稱KAI Inference Builder），這是一個專為大規模驗證推論優化的AI基礎架構而設計的模擬與分析平台。是德科技於NVIDIA GTC大會上展示此解決方案，並在NVIDIA DSX Air AI工廠模擬環境中展示其運作，藉此對AI資料中心基礎設施、系統架構與整體效能進行建模與最佳化。
隨著AI產業從訓練大型語言模型（LLM）轉向部署應用，推論優化已成為投資報酬率（ROI）的關鍵因素。然而，推論行為極具動態性且難以模擬，傳統測試方法如合成流量產生或GPU基準測試等，無法精確重現AI推論在運算、網路、記憶體、儲存及安全層面上對延遲敏感的工作負載行為。
KAI Inference Builder透過重現真實的推論工作負載模式，並建模產業特定的使用模式，來驗證AI基礎架構、應用程式及資料中心部署，有效彌補了這項缺口。此平台為AI雲端服務供應商、硬體廠商及應用程式開發人員提供了一套可擴展的解決方案，以量測、驗證及優化實際環境中的推論效能。
KAI Inference Builder的主要優勢包括：
1. 專為推論時代打造：作為是德科技KAI產品組合的一部分，KAI Inference Builder能大規模模擬AI推論工作負載，並在真實環境下驗證全堆疊部署，以優化效能、擴展性與安全性。
2. 針對特定產業與應用的基準測試：KAI Inference Builder捨棄通用模擬，轉而模擬金融、醫療保健及其他垂直領域中常見的AI模型所採用的特定產業使用模式與LLM架構，使組織能夠建模並分析不同類型AI資料中心部署中的基礎架構與應用程式行為。
3. 端到端驗證與優化：KAI Inference Builder會評估從使用者請求到模型回應的推論工作流程，透過在運算、網路及安全層面及早識別並解決瓶頸，協助團隊降低因重工產生的高昂成本。
4. 子系統隔離與精準定位根本原因：KAI Inference Builder亦可執行純客戶端模擬，藉此識別AI基礎架構堆疊在負載下出現效能瓶頸的位置，從而實現針對性優化，減少過度配置、降低成本並提升整體效率。
5. NVIDIA DSX Air整合與GTC現場展示：是德科技在NVIDIA GTC大會上展示KAI Inference Builder與NVIDIA Air的即用型整合方案，透過NVIDIA的資料中心模擬環境生成實際推論工作負載，讓營運人員能在部署實體設備前驗證推論基礎架構。
是德科技網路應用與安全事業群副總裁暨總經理Ram Periakaruppan表示，推論是釋放AI投資報酬率的關鍵，但若系統資源未針對容量與效能進行優化，要達成此目標將面臨挑戰。KAI Inference Builder能提供全堆疊的實際推論效能可視性，讓客戶在硬體上架前即可驗證並優化部署。透過在NVIDIA GTC大會上運用NVIDIA Air平台展示這項功能，展現了組織如何在降低風險與成本的同時，加速邁向生產環境。
NVIDIA網路事業部副總裁Amit Katz表示，隨著AI資料中心規模擴展至前所未有的層級，部署前的驗證已從最佳典範轉變為關鍵任務需求。KAI Inference Builder與NVIDIA DSX Air的整合，提供了消除效能波動所需的關鍵環境，並讓NVIDIA AI Factory合作夥伴與客戶能夠模擬真實的推論工作負載，並預先解決瓶頸，確保優化的AI服務能迅速推向市場。
