科技產業報訂閱
活動+
 

NVIDIA因應GPU運算需求 將AI推論解決方案拓展至各個產業

NVIDIA EGX 邊緣堆疊示意。

全球在雲端運算領域找尋人工智慧(AI)全新利基市場的發展機會,近年來陷入了成長停滯,而NVIDIA希望進一步提升產業層級並在未來幾年加速改變產業的樣貌。AI的企業應用趨勢正在崛起,並且正在形塑從雲端到邊緣的全新市場。

雲端服務業者與企業界認知到AI系統會帶來營運效能提升、改善消費者體驗並創造新產品服務等優勢之後,開始轉而投注資源在AI推論的應用,以創造最大化的利潤與營收,今天AI推論的應用常見於搜索引擎,或是Netflix的影片推薦,以及Alexa智慧語音助理,其他諸如像在智慧流程自動化、網上購物顧問與產品推薦及新藥開發等使用案例上,都出現了強勁的成長。

 點擊圖片放大觀看

NVIDIA EGX 運算平台Nano至T4效能比較圖。

NVIDIA宣布推出兩個專為AI運算而打造的主流伺服器產品,包括用於資料中心AI運算的伺服器,與搭載NVIDIA GPU及軟體的邊緣伺服器。

這次在COMPUTEX 2019期間特別專訪NVIDIA產品行銷總監Paresh Kharya,分享NVIDIA近期在雲端與邊緣運算領域的產品布局,以及如何把握AI推論市場所創造的無窮商機。

他長期與客戶及生態系夥伴共同合作,為AI領域發展多樣化的智慧型解決方案,提供以NVIDIA AI與深度學習技術打造的端到端解決方案。同時,NVIDIA也與雲端平台巨擘如Amazon AWS和微軟Azure緊密合作,整合其技術與軟體堆疊,助力開發者運用雲端與邊緣的機器學習加速運算。

NVIDIA T4 GPU推動企業伺服器解決大規模運算難題

現今全球的AI應用與投資仍持續走揚,有一個很大的發展重點是AI推論晶片的多頭發展態勢,以NVIDIA本身推出NVIDIA T4 GPU為例,AI推論在雲端服務的投資上愈來愈顯著,一些以CPU為主的AI推論晶片也應運而生。

Kharya表示,與CPU AI推論晶片相比,NVIDIA T4 GPU在效能上足足超出約40倍之多,而且與不同深度學習框架所發展的AI推論比較,在自然語言辨識的效能中NVIDIA GPU的領先幅度更為突出。

以NVIDIA T4 GPU驅動的企業級伺服器透過Turing架構執行CUDA-X AI應用軟體加速函式庫,能大幅提升效能,協助企業掌握先機,其中包括AI的應用、機器學習、資料分析與虛擬化桌面技術。NVIDIA T4 GPU是專為資料中心所打造,並且只需要70瓦的耗能即可運作。

目前NVIDIA T4 GPU企業級伺服器已經從早期的伺服器品牌大廠率先投入,發展至今已有超過30家OEM/ODM 大廠一起共襄盛舉。NVIDIA T4能為主流的企業伺服器提升運算效率。

然而,它並非如先前所推出像是NVIDIA V100這類較大型且更加強大的GPU之替代品是專為AI訓練和高效能運算、特定領域的垂直式擴展伺服器所打造,而是在極低耗能、低價位的前提下卻擁有優秀的效能表現,這將有助加速AI應用的部署,比過去的機器學習訓練模型更有效率,其中熱門的應用領域包括AI客戶支援與服務、網路安全、智慧零售與製造。

NVIDIA EGX平台驅動低延遲AI邊緣運算

隨著數十億來自企業的IoT裝置感測器每天產生超大量的資料,需要分析這些資料進而產出商業洞察的需求也隨之強勁,Kharya表示,為了讓這些資料對商業決策帶來最大效益,這些資料必須透過AI即時處理。

邊緣運算可讓由感測器裝置所產生的資料在接近感測器時就被處理,而不需要傳回雲端。邊緣運算能夠補足雲端運算,讓客戶能夠在網路連線差或甚至斷線的狀況下也能進行AI運算。

隨著邊緣運算技術的快速發展,NVIDIA為滿足如智慧製造機台或自駕車等需要即時回應的AI應用,推出低延遲、高效能的邊緣運算平台NVIDIA EGX,賦予終端裝置即時回應的能力。Kharya強調,像EGX平台這樣的邊緣伺服器將被在全球被大量部署,能夠即時處理來自於感測器的龐大資料。

NVIDIA EGX平台的微型伺服器是由Jetson Nano GPU 晶片打造而成,消耗功率只有區區幾瓦,非常省電,具備每秒五萬億兆次浮點運算(TOPS)的效能,可用於處理像是影像辨識這類的任務。

Kharya現場展示的參考設計主板可以連接8個攝影鏡頭,做為智慧交通號誌與管理解決方案之用。隨著需要更加強大效能的各種應用需求,EGX可以透過組合大量的NVIDIA T4企業伺服器機櫃,提供高達10,000兆次浮點運算的效能以符合大型AI即時運算的任務。

為了簡化在分散式伺服器AI應用的管理,NVIDIA推出企業級軟體 Edge Stack軟體套件,這是一套提供建構於容器應用管理的最佳化軟體,包括驅動程式、CUDA Kubernetes的外掛程式、CUDA容器執行、CUDA-X函式庫,另外也提供容器化AI框架與應用,如TensorRT、TensorRT推論伺服器與DeepStream軟體。NVIDIA也與Red Hat合作,將NVIDIA Edge Stack與OpenShift進行整合並優化。

推廣NGC-ready的伺服器驗證計畫

NVIDIA的T4 GPU企業伺服器需要具備執行最佳化NVIDIA CUDA-X AI加速程式庫的能力,讓企業界可以提供多樣化與效能卓著的優異服務。NVIDIA為了協助企業打造符合最高要求的伺服器,以NVIDIA GPU的強大系統部署GPU加速軟體,NVIDIA提供NGC-ready的伺服器驗證計畫。

透過此計畫,搭載NVIDIA T4或V100 GPU的伺服器將針對運行NVIDIA CUDA-X AI加入函式庫進行最佳化,能提供企業級伺服器AI與資料分析強大的實用性與多元性。NGC-Ready驗證包含經測試的AI與高效能運算軟體,NGC提供多種GPU加速軟體、預先訓練好的AI模組、資料分析模組訓練、機器學習、深度學習和以CUDA-X AI加速的高效能運算,確保認證的伺服器能夠輕鬆勝任由Tensor核心所組成的所有加速工作負載。

NGC-Ready驗證計畫囊括採用含有Tensor核心與NVIDIA GPU的系統,是進行各種AI工作的理想選擇,而這也適用於邊緣運算解決方案。NVIDIA Edge Stack為經驗證的伺服器進行最佳化,且能夠在NVIDIA NGC登入系統下載。希望部署邊緣或是雲端運算的企業能透過連結至AWS Greengrass或微軟Azure IoT雲端平台,輕鬆根據所需的運算任務達到規模化。


  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: NVIDIA GPU運算 GPU 人工智慧 邊緣運算