NVIDIA因應GPU運算需求 將AI推論解決方案拓展至各個產業

NVIDIA EGX 邊緣堆疊示意。

全球在雲端運算領域找尋人工智慧(AI)全新利基市場的發展機會，近年來陷入了成長停滯，而NVIDIA希望進一步提升產業層級並在未來幾年加速改變產業的樣貌。AI的企業應用趨勢正在崛起，並且正在形塑從雲端到邊緣的全新市場。

雲端服務業者與企業界認知到AI系統會帶來營運效能提升、改善消費者體驗並創造新產品服務等優勢之後，開始轉而投注資源在AI推論的應用，以創造最大化的利潤與營收，今天AI推論的應用常見於搜索引擎，或是Netflix的影片推薦，以及Alexa智慧語音助理，其他諸如像在智慧流程自動化、網上購物顧問與產品推薦及新藥開發等使用案例上，都出現了強勁的成長。

NVIDIA宣布推出兩個專為AI運算而打造的主流伺服器產品，包括用於資料中心AI運算的伺服器，與搭載NVIDIA GPU及軟體的邊緣伺服器。

這次在COMPUTEX 2019期間特別專訪NVIDIA產品行銷總監Paresh Kharya，分享NVIDIA近期在雲端與邊緣運算領域的產品布局，以及如何把握AI推論市場所創造的無窮商機。

他長期與客戶及生態系夥伴共同合作，為AI領域發展多樣化的智慧型解決方案，提供以NVIDIA AI與深度學習技術打造的端到端解決方案。同時，NVIDIA也與雲端平台巨擘如Amazon AWS和微軟Azure緊密合作，整合其技術與軟體堆疊，助力開發者運用雲端與邊緣的機器學習加速運算。

NVIDIA T4 GPU推動企業伺服器解決大規模運算難題

現今全球的AI應用與投資仍持續走揚，有一個很大的發展重點是AI推論晶片的多頭發展態勢，以NVIDIA本身推出NVIDIA T4 GPU為例，AI推論在雲端服務的投資上愈來愈顯著，一些以CPU為主的AI推論晶片也應運而生。

Kharya表示，與CPU AI推論晶片相比，NVIDIA T4 GPU在效能上足足超出約40倍之多，而且與不同深度學習框架所發展的AI推論比較，在自然語言辨識的效能中NVIDIA GPU的領先幅度更為突出。

以NVIDIA T4 GPU驅動的企業級伺服器透過Turing架構執行CUDA-X AI應用軟體加速函式庫，能大幅提升效能，協助企業掌握先機，其中包括AI的應用、機器學習、資料分析與虛擬化桌面技術。NVIDIA T4 GPU是專為資料中心所打造，並且只需要70瓦的耗能即可運作。

目前NVIDIA T4 GPU企業級伺服器已經從早期的伺服器品牌大廠率先投入，發展至今已有超過30家OEM/ODM 大廠一起共襄盛舉。NVIDIA T4能為主流的企業伺服器提升運算效率。

然而，它並非如先前所推出像是NVIDIA V100這類較大型且更加強大的GPU之替代品是專為AI訓練和高效能運算、特定領域的垂直式擴展伺服器所打造，而是在極低耗能、低價位的前提下卻擁有優秀的效能表現，這將有助加速AI應用的部署，比過去的機器學習訓練模型更有效率，其中熱門的應用領域包括AI客戶支援與服務、網路安全、智慧零售與製造。

NVIDIA EGX平台驅動低延遲AI邊緣運算

隨著數十億來自企業的IoT裝置感測器每天產生超大量的資料，需要分析這些資料進而產出商業洞察的需求也隨之強勁，Kharya表示，為了讓這些資料對商業決策帶來最大效益，這些資料必須透過AI即時處理。

邊緣運算可讓由感測器裝置所產生的資料在接近感測器時就被處理，而不需要傳回雲端。邊緣運算能夠補足雲端運算，讓客戶能夠在網路連線差或甚至斷線的狀況下也能進行AI運算。

隨著邊緣運算技術的快速發展，NVIDIA為滿足如智慧製造機台或自駕車等需要即時回應的AI應用，推出低延遲、高效能的邊緣運算平台NVIDIA EGX，賦予終端裝置即時回應的能力。Kharya強調，像EGX平台這樣的邊緣伺服器將被在全球被大量部署，能夠即時處理來自於感測器的龐大資料。

NVIDIA EGX平台的微型伺服器是由Jetson Nano GPU 晶片打造而成，消耗功率只有區區幾瓦，非常省電，具備每秒五萬億兆次浮點運算(TOPS)的效能，可用於處理像是影像辨識這類的任務。

Kharya現場展示的參考設計主板可以連接8個攝影鏡頭，做為智慧交通號誌與管理解決方案之用。隨著需要更加強大效能的各種應用需求，EGX可以透過組合大量的NVIDIA T4企業伺服器機櫃，提供高達10,000兆次浮點運算的效能以符合大型AI即時運算的任務。

為了簡化在分散式伺服器AI應用的管理，NVIDIA推出企業級軟體 Edge Stack軟體套件，這是一套提供建構於容器應用管理的最佳化軟體，包括驅動程式、CUDA Kubernetes的外掛程式、CUDA容器執行、CUDA-X函式庫，另外也提供容器化AI框架與應用，如TensorRT、TensorRT推論伺服器與DeepStream軟體。NVIDIA也與Red Hat合作，將NVIDIA Edge Stack與OpenShift進行整合並優化。

推廣NGC-ready的伺服器驗證計畫

NVIDIA的T4 GPU企業伺服器需要具備執行最佳化NVIDIA CUDA-X AI加速程式庫的能力，讓企業界可以提供多樣化與效能卓著的優異服務。NVIDIA為了協助企業打造符合最高要求的伺服器，以NVIDIA GPU的強大系統部署GPU加速軟體，NVIDIA提供NGC-ready的伺服器驗證計畫。

透過此計畫，搭載NVIDIA T4或V100 GPU的伺服器將針對運行NVIDIA CUDA-X AI加入函式庫進行最佳化，能提供企業級伺服器AI與資料分析強大的實用性與多元性。NGC-Ready驗證包含經測試的AI與高效能運算軟體，NGC提供多種GPU加速軟體、預先訓練好的AI模組、資料分析模組訓練、機器學習、深度學習和以CUDA-X AI加速的高效能運算，確保認證的伺服器能夠輕鬆勝任由Tensor核心所組成的所有加速工作負載。

NGC-Ready驗證計畫囊括採用含有Tensor核心與NVIDIA GPU的系統，是進行各種AI工作的理想選擇，而這也適用於邊緣運算解決方案。NVIDIA Edge Stack為經驗證的伺服器進行最佳化，且能夠在NVIDIA NGC登入系統下載。希望部署邊緣或是雲端運算的企業能透過連結至AWS Greengrass或微軟Azure IoT雲端平台，輕鬆根據所需的運算任務達到規模化。