最新MLCommons AI推論結果 凸顯英特爾產品在AI領域的強大競爭力 智慧應用 影音
aispecialreport
MMI Asia 2024

最新MLCommons AI推論結果 凸顯英特爾產品在AI領域的強大競爭力

  • 陳其璐台北訊

Habana Gaudi2的GPT-J推論效能結果,為其極具競爭力的效能提供有力的驗證。英特爾
Habana Gaudi2的GPT-J推論效能結果,為其極具競爭力的效能提供有力的驗證。英特爾

MLCommons上個月針對60億個參數的大型語言GPT-J,以及電腦視覺和自然語言處理模型發表MLPerf Inference v3.1效能基準測試結果。英特爾提交Habana Gaudi2加速器、第4代Intel Xeon可擴充處理器和Intel Xeon CPU Max系列的測試結果。這些結果不僅顯示英特爾在AI推論方面可提供具競爭力的效能表現,更強化英特爾的承諾,在客戶端、邊緣、網路、雲端等一連串AI工作負載中,讓AI更容易大規模地落實應用。

英特爾執行副總裁暨資料中心和AI事業群總經理Sandra Rivera表示:「正如同近期MLCommons的結果,展示出英特爾擁有強勁、極具競爭力的AI產品組合,能夠滿足客戶對於高效能、高效率深度學習模型推論和訓練的需求,適合用在最小到最大的各種AI模型,並提供領先的性價比。」

在2023年6月更新的MLCommons AI訓練和Hugging Face效能基準測試,驗證了Gaudi2在最先進視覺語言模型方面的效能優勢;每位客戶均有獨特的考量,而英特爾提供可解決一連串AI工作負載推論與訓練難題的產品,將AI落實到每個角落。英特爾的AI產品讓客戶能夠根據各自的效能、效率和成本目標,在選擇最佳AI解決方案時擁有靈活性和選項,同時協助客戶打破封閉的生態系。

Habana Gaudi2結果:Habana Gaudi2的GPT-J推論效能結果,為其極具競爭力的效能提供有力的驗證。

.Gaudi2在GPT-J-99和GPT-J-99.9的伺服器查詢(query)和離線樣本推論效能,分別為每秒78.58個查詢和每秒84.08個樣本。
.Gaudi2的效能是NVIDIA A100的2.4倍(伺服器)和2倍(離線)。
.Gaudi2的提交結果使用FP8,在此新資料類型的準確度高達99.9%。

Gaudi2大約每6週至8週釋出一次軟體更新,英特爾預期在MLPerf基準測試中繼續提升效能並擴大模型覆蓋範圍。

英特爾提交第4代Intel Xeon可擴充處理器的結果,其中包含GPT-J在內的所有7項推論基準測試。這些結果展現出通用AI工作負載的優異效能,包含視覺、語言處理、語音和音訊翻譯模型,以及規模更大的DLRM v2推薦和ChatGPT-J模型。此外,英特爾仍是唯一一家使用業界標準深度學習生態系軟體來提交公開CPU結果的供應商。

使用最流行的AI框架與函式庫建立並部署通用AI工作負載,第4代Intel Xeon可擴充處理器為其理想之選。1篇新聞文章約1,000字至1,500字的GPT-J 100字摘要工作,第4代Intel Xeon處理器在離線模式下每秒可總結2個段落,即時伺服器模式下每秒總結1個段落。

英特爾首次提交Intel Xeon CPU Max系列的MLPerf結果,該系列可提供高達64GB的高頻寬記憶體。在GPT-J方面,它是唯一能夠達成99.9%準確度的CPU,這對於需要最高精準度的應用而言十分重要。
英特爾和原始設備製造商(OEM)客戶合作,提交他們自己的結果,進一步展現搭載Intel Xeon處理器通用伺服器的AI效能可擴展性和廣泛可用性,這些伺服器能夠滿足客戶的服務等級協議(SLA)。

MLPerf被普遍認為是AI效能方面最具聲譽的基準測試,能夠進行公平、可重現的效能比較。英特爾預計將為下次的MLPerf基準測試提交新的AI訓練結果。效能持續不斷的更新,代表英特爾致力於支援客戶,並針對每個AI節點提出解決方案-從低成本的AI處理器,再到網路、雲端和企業用戶所需的最高效能AI硬體加速器和GPU。


關鍵字
議題精選-AI專欄