高通、NVIDIA在AI晶片效率測試中領先群雄　台灣新創也入榜

高通AI晶片在3項能效指標中的2項中擊敗NVIDIA。法新社

開放工程聯盟MLCommons的最新測試數據顯示，高通（Qualcomm）人工智慧（AI）晶片在3項能效指標中的兩項中擊敗NVIDIA，台灣新創創鑫智慧在1項指標中勝出。

根據路透（Reuter）及ZDNet報導，NVIDIA目前主導使用海量資料訓練AI模型的市場。而AI模型經訓練後廣泛應用於各種推論任務，例如對提示生成文字回應，以及判斷影像中是否有貓。分析師認為，隨著企業將AI技術應用到其產品中，資料中心推論晶片市場將迅速成長。

MLCommons於4月5日發布的測試數據顯示，高通Cloud AI 100在影像分類方面擊敗NVIDIA的旗艦級晶片H100。Cloud AI 100的伺服器查詢次數達到每瓦197.6次，而NVIDIA為每瓦108.4次。台灣資深晶片學者林永隆創辦的創鑫智慧則以每瓦227次查詢的速度位居榜首。

在物體偵測方面，高通也擊敗NVIDIA，其得分為每瓦3.2個查詢，而NVIDIA為每瓦2.4個查詢。物體偵測可用於分析零售店的影片等應用程式，以查看購物者最常買什麼。

然而，在一項自然語言處理測試中，NVIDIA在絕對效能和功耗方面都拔得頭籌。自然語言處理是聊天機器人等系統中應用最廣泛的AI技術。NVIDIA達到每瓦10.8個取樣，創鑫智慧以每瓦8.9個取樣排名第二，高通以每瓦7.5個樣品排名第三。

在回歸推論方面，新創公司Neural Magic的特殊軟體能找到神經網路的哪些神經權重可棄用，以節省運算需求。其DeepSparse軟體能僅使用CPU，而不需要使用NVIDIA的GPU。

在邊緣運算的BERT語言測試中，Neural Magic的DeepSparse軟體使用2顆超微（AMD） EPYC伺服器CPU，實現從Google BERT神經網路每秒產生5,578個回應的亮眼成績。

該公司認為，依靠通用的x86晶片而非昂貴的GPU，將有助於降低執行程式的整體成本，將AI推廣到更多的公司和機構。

責任編輯：張興民