NVIDIA Grace Hopper超級晶片在MLPerf推論基準測試中取得卓越成果
NVIDIA GH200 Grace Hopper超級晶片 首次亮相於MLPerf產業基準測試中,在所有人工智慧推論加速器測試中均表現優異,進一步擴展了NVIDIA H100 Tensor Core GPU的領先效能。這些結果還展示了NVIDIA 人工智慧平台在從雲端到網路邊緣的卓越性能和多功能性。NVIDIA另外宣布推出推論軟體,能讓使用者在效能、能源效率和總持有成本方面上得到顯著的提升。
GH200連結Hopper GPU 和Grace CPU成為一個超級晶片。這個組合能提供更多記憶體、頻寬,以及能在CPU和GPU之間自動調節電力,以最佳化表現。此外,配備 8 個H100 GPU的HGX H100系統在本輪每個MLPerf推論測試中提供了最高的吞吐量。
Grace Hopper超級晶片和H100 GPU在所有MLPerf的資料中心測試中處於領先地位,包括電腦視覺推論、語音識別和醫學成像,以及要求更高的推薦系統應用案例和生成式人工智慧中使用的大型語言模型(LLMs)。
總體來說,這次測試結果延續了NVIDIA自2018年MLPerf基準推出以來,在每輪人工智慧訓練和推論方面效能領先的記錄。最新的MLPerf測試中包括對推薦系統的更新測試,以及首次針對GPT-J進行的推論基準測試。GPT-J是一個具有60億參數的大型語言模型,而參數是用來衡量人工智慧模型大小的粗略指標。
TensorRT-LLM大幅提升推論效能
為了減少各種規模的複雜工作負載,NVIDIA開發了TensorRT-LLM,這是一種可最佳化推論的生成式人工智慧軟體。這個開源程式碼在八月向MLPerf提交測試結果時尚未完成,能使客戶能夠在無額外成本的情況下,將其已購買的H100 GPU的推論效能提高一倍以上。NVIDIA內部測試顯示,在H100 GPU上使用TensorRT-LLM,與以前的GPU運行GPT-J 6B相比,效能提升高達8倍。
這個軟體源於NVIDIA與業界領先公司的合作,包括Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML(現為Databricks的一部分)、OctoML、Tabnine和Together AI,以加速和最佳化大型語言模型推論的過程。
MosaicML在TensorRT-LLM的基礎上增加所需的功能,並將其納入現有的服務堆疊。Databricks 工程部門副總裁 Naveen Rao 指出:「這絕對是一件輕而易舉的事。」
「TensorRT-LLM 簡單易用、功能多樣且相當有效率。它為使用 NVIDIA GPU 的大型語言模型服務提供了最先進的效能,讓我們能夠把省下來的成本回饋給客戶。」Rao 說。
TensorRT-LLM是NVIDIA全端AI平台持續不斷創新的最新範例。這些不斷升級的軟體為用戶提供了可隨時間延長的性能,而無需額外成本,並且能適應當今多樣化的人工智慧工作負載。
L4 提升主流伺服器的推論效能
在最新的MLPerf基準測試中,NVIDIA L4 GPU在各種工作負載上表現卓越,提供全面性的出色性能。例如,L4 GPU運行在精巧、功耗為72W的轉接卡上,與功耗高出近5倍的CPU相比較,L4 GPU提供高出6倍效能。除此之外,L4 GPU內建專屬的媒體引擎,在NVIDIA的測試中與CUDA軟體合用能加速電腦視覺應用達120倍。目前可以從Google Cloud和許多系統製造商端使用L4 GPU。它們為從消費者網路服務到藥物研發等多個產業的客戶提供服務。
在邊緣環境中效能提升
此外,NVIDIA應用了新的模型壓縮技術,使在L4 GPU上運行BERT LLM的效能提升達4.7倍。這一結果在MLPerf的所謂開放組別(Open Division)中實現,這是用於展示新能力的一個類別。該技術預計將適用於所有人工智慧工作負載。當在尺寸和功耗受限的邊緣設備上運行模型時,它尤其有價值。
在另一個邊緣運算領先範例中,NVIDIA Jetson Orin系統模組顯示物件偵測的效能相對前一輪測試提升高達84%,這是邊緣人工智慧和機器人場景中常見的電腦視覺使用案例。
Jetson Orin的先行產品來自採用最新版晶片核心的軟體,如可程式設計視覺加速器、NVIDIA Ampere架構GPU和專用深度學習加速器。
多功能的效能,廣大的生態系統
MLPerf基準是透明且客觀的,因此使用者可以依靠其結果做出明智的購買決策。它們涵蓋了廣泛的應用案例和情景,因此使用者知道他們可以獲得可靠且部署靈活的效能。
在本輪測試中參與提交的合作夥伴包括雲端服務供應商Microsoft Azure和Oracle Cloud Infrastructure,以及華碩電腦、Connect Tech、戴爾科技集團、富士通公司、技嘉科技、慧與科技、聯想集團、雲達科技和美超微等系統製造商。
總體來說,MLPerf得到了超過70家組織的支持,包括阿里巴巴、Arm、思科、Google、哈佛大學、英特爾、Meta、微軟和多倫多大學等。
欲瞭解更多詳細資訊以及我們如何獲得這些成果,請閱讀技術部落格文章。
於此次測試中使用的各種軟體公開於MLPerf資源庫,每個人都能取得這些世界級的成果。NVIDIA不斷將最佳化結果放入NVIDIA NGC (GPU 加速軟體目錄)的容器中,提供GPU應用。
- Hitachi Vantara推出Virtual Storage Platform One為混合雲儲存提供基礎
- 偉康科技聚焦金管會零信任與AI最新指引 賦能金融創新
- 醫揚榮獲「2024中堅潛力獎」 凸顯智慧醫療領域的市場競爭力與永續發展承諾
- AI將改變全球的商業模式 臺灣企業應把握全球變局下的AI新機遇
- AWS邀請產官專家跨界激盪 梳理AI世界的新經濟發展策略
- 日本JR東海選擇AWS 於山梨磁浮線推動下世代高速列車的高效營運
- 教育部推AI學習教程 臺師大聯手麗臺深化數位教育
- Radware推出EPIC-AI,在安全解決方案和服務中增加全新AI和GenAI功能
- 趨勢科技攜手NVIDIA AI Enterprise強化AI部署
- QNAP發表Qsirch 5.4.2正式版 強化AI語意搜尋提升NAS圖片搜尋精準度
- 威強電與翱騰國際攜手打造AI個人化遠距醫療照護環境
- 群聯aiDAPTIV+榮獲Best of Show - Most Innovative AI Application獎項
- 宜鼎攜手研華 旗下MIPI相機模組支援最新AFE-R360系統
- 趨勢科技推深偽偵測方案防範AI視訊詐騙
- 高通推出Snapdragon 4s Gen 2行動平台 整合AI實現強大的行動體驗
- AMD釋出AMD Fluid Motion Frames 2技術預覽
- ROG推出全球首款AI雙模電競螢幕
- NTT DATA推出超輕型邊緣AI平台
- 優必達攜手富邦金控 化身AI啦啦隊前進巴黎
- 具備AI加速功能的3.5吋單板電腦IB962
- 台灣的醫療中心採用NVIDIA加速運算技術推動生物醫學研究發展
- H.I.T. 醫療生成式AI研究體系:引領醫療人工智慧新紀元
- HDMI協會趨勢觀察 AI革新電視體驗 8K應用快速成長
- 生成式AI考驗HPC互聯 矽光子技術將成大勢所趨
- 研華與臻鼎達成戰略合作 AI助力共鑄PCB產業數智化綠色化發展
- 醫揚推搭載輝達IGX平台醫療AI PC 全球首家可量產銷售公司
- 艾創點數位 共創企業AI應用新紀元
- 台達「解密Cloud to Edge AI」於COMPUTEX 2024展出驅動AI技術
- 英飛凌發佈新一代PSOC Edge微控制器產品組合
- NVIDIA執行長黃仁勳將在COMPUTEX 2024前發表主題演講
- 美光率先出貨關鍵記憶體 助力 AI 資料中心
- 研華SKY-602E3 GPU 伺服器 以其緊湊的塔型設計革新人工智能應用
- 洞視科技有限公司 MacroInsight:引領AI智能應用,創新多領域
- 迪威智能看準商業應用缺口 推AI會議記錄及聲音轉換 搶攻全球市場
- 傑騰智能以生成式智慧製造架構JEDAS 整合最新智慧製造解決方案
- 擁有AI影像辨識 iSeek創新訂閱制AI服務 掀市場革命
- 精誠集團捐贈輔仁大學Gemini Data AI圖數據軟體
- NVIDIA生成式人工智慧研究在一秒內製作出3D形狀
- 瞄準東南亞牙科市場 台灣牙e通登星國最大牙材展
- Dynabook 亮相AI EXPO 2024:為企業客戶帶來新解方
- 麗臺助陣 以AI工作站和AIDMS推動全民AI大潮
- NEC攜手能火、微軟為衛武營推出全球首個可互動的「生成式AI貝多芬」
- OneDegree Global推出AI風險評估 滿足不斷變化的合規和治理需求
- 安勤智慧交通展荷蘭初登場 運用AI邊緣運算助力低碳永續、無縫綠運輸
- HPE協助電信業者在6G、人工智慧時代以及長遠未來取得成功
- NTT DATA攜手吉嘉電子 升級MES系統 迎接智造新時代
- 戴爾科技集團助企業打造具全新AI體驗的現代化工作環境
- 台灣科技助樟宜機場打造高效室內定位服務
- Cadence推出全新Celsius Studio AI熱管理平台
- F5 2024網路安全預測-AI成為威脅的增強器
- Check Point揭統一且全面安全平台 開創AI驅動和雲端交付網路安全未來
- 安提推出首款NVIDIA Ada Lovelace架構MXM圖形模組 加速AI應用升級
- NTT DATA攜手璨揚啟動RISE with SAP升級上雲並導入生成式AI技術
- Alibaba.com全球同步上線「AI生意助手」
- 昕力資訊連續兩年奪下台灣精品獎 三項MIT軟體大放異彩
- 以AI融合獨特五字訣營運心法 陞泰科技打造最適化智慧安全監控系統
- 想像 vs. 現實:AI 視覺智造的時代?
- 2024科技趨勢 - 影響安防產業的5大科技趨勢
- Amazon亞馬遜技術長Werner Vogels 2024年及未來技術趨勢預測
- 趨勢科技2024資安預測報告:科技躍進與政經局勢交互作用 資安局勢添變數
- 導入AI讓設備變聰明 亞炬智能監測系統提高維修保養業營收
- 微軟Azure OpenAI助力HAPPY GO數位化精準行銷
- 昕力資訊連續兩年奪下台灣精品獎三項MIT軟體大放異彩
- AWS與Salesforce深化合作 更輕鬆地建構可信的AI應用程式
- AMD為微軟客戶提供全新AI與運算功能
- 華碩、NVIDIA、陽明交大產學合作 培育前瞻藝術人才
- VMware擴展Tanzu平台功能 為生成式AI經濟構建應用
- 人工智慧和自動化:中小企業不可錯失良機
- 摩爾斯微電子與Xailient攜手改變智慧型攝影機的未來
- AIoT賦能創造多元價值 新世代智慧建築成形
- 美光推出主流PCIe Gen4資料中心 SSD
- 製造業迎接AI時代 遠端設廠的革新趨勢
- 零壹科技攜手Pyramid Analytics為企業提供一站式智能AI決策解決方案
- 最新MLCommons AI推論結果 凸顯英特爾產品在AI領域的強大競爭力
- 明基醫與光明智能取得台灣第一個TFDA認證牙科AI軟體
- NVIDIA Grace Hopper超級晶片在MLPerf推論基準測試中取得卓越成果
- 圓剛再推新款邊緣AI運算解決方案VerMedia Box PC-D133ONB
- 威盛電子全力推動智慧工廠煙火辨識防爆偵準系統
- 智慧製造永續的基石: AI驅動決策
- 趨勢科技報告指出:2023上半年網路犯罪市場正利用AI工具提高效率
- VMware協助企業輕鬆駕馭生成式AI的力量
- o9引領供應鏈計畫邁向新世代:整合生成式人工智慧的頂尖計畫平台
- Google Cloud與NVIDIA合作推動人工智慧運算、軟體和服務
- 安勤科技推出智慧零售解決方案Renity AIR
- AI推論首選!華碩新一代邊緣電腦PE1100N
- 高通與現代汽車集團合作為移動專用車打造資訊娛樂系統
- AMD研究指出IT主管看好AI將改變其業務方式並正在加大投資
- 迎戰AI新世代 HPE產業應用論壇
- AIDMS助力 中醫大附醫與亞大資工攜手以AI助病患安心居家洗腎
- Menlo Security以AI驅動技術重新定義上網安全
- 正新橡膠擴大導入Profet AI方案
- 海韻電子助力AI產業蓬勃發展 提供環保高效的電源供應解決方案
- 淮南寰宇與法騰科技聯手打造lntellinet智能網管平台
- 用AI製作形象影片,實威國際推動製造業新時代的數位轉型
- 民視攜光禾感知打造AI虛擬主播
- 明基材料成功導入AI應用 改善製程與突破生產瓶頸
- 兆米智檢重新定義AOI瑕疵檢測準確率的新標準
- o9 Solutions以其AI賦能的規劃平台革新供應商協作流程
- NVIDIA 與微軟合作加速企業就緒生成式AI發展
- 戴爾科技集團和NVIDIA推出Helix計畫以實現安全的地端生成式AI
- SAP助力企業擁抱AI致勝未來
- NVIDIA:全球需求量大 AI晶片銷中禁令擴大應無傷短期營運
- 身心財都要健康 Lydia AI 再推APP助健康及財務規劃
- ChatGPT應用於製造業有譜? 工研院機械所:可朝7大方向發展
- 亞博福爾摩沙全通路語音智能客服 開展客服新世代
- 全球AI服務推展進入戰國時期 國家團隊整合已成必行之勢
- 透過AI演算分析模組o9致力永續指標納入供應鏈規劃流程
- DUGAA透過AI協助企業效率化分析海量數據
- AI視覺打造Gogoro人機協作未來產線
- Beseye雲守護研發最新AI監控解方
- 安圖斯AI運算平台 為企業和教育領域提供可靠解決方案
- 手機市場難樂觀 日零組件廠期待車載拉業績
- 迪威智能Noise Eraser:提升音訊品質,重新定義聲音體驗
- 搭載AI智能商機 精聯電子首創5G工規行動電腦並支援ARCore技術
- 新思科技推出Synopsys.ai為晶片製造商打造全面性AI驅動EDA套件
- 創鑫智慧雲端用人工智慧推論晶片在AI世界評測贏得最佳能效比
- 從AI到LLM:建置有序的人工智慧模型作業流程
- 安勤科技投資柏瑞醫 合作開發AI疾病輔助篩檢系統
- cacaFly強化雲端技術力 通過Google Cloud 專業認證
- Moldex3D 2023實現未來塑造
- 精誠與Gemini Data領先於台灣推出OpenAI商業應用
- 晶睿通訊整合旗下新品建構全方位AI安防解決方案