NVIDIA 全新NIM 微服務 協助台灣多家產業組織提升效率和安全性 智慧應用 影音
DForum1101
Event

NVIDIA 全新NIM 微服務 協助台灣多家產業組織提升效率和安全性

  • 賴品如台北

打造出符合當地價值觀的AI系統,保護和推動文化、語言多元性與知識。NVIDIA
打造出符合當地價值觀的AI系統,保護和推動文化、語言多元性與知識。NVIDIA

世界各地都在追求發展主權AI,利用自己的運算基礎設施、資料、勞動力及商業網路等資源來發展人工智慧(AI),打造出符合當地的價值觀、法律與利益的AI系統,保護和推動文化、語言多元性與知識。

為支持全球各地AI的發展和進步,NVIDIA推出全新的NVIDIA NIM微服務,支援各種常用的社群模型,也包括主權基礎模型,可按照當地語言和文化傳統,透過準確理解和改善回應,強化與使用者的互動,使開發人員在輕鬆地建置與部署高效能的生成式AI應用的同時,有效控制生成式AI對社會、經濟、安全可能帶來的負面影響,對每個區域、國家的永續發展至為關鍵。

全新NVIDIA NIM微服務,更快讓生成式AI產生出更精準的結果

全新NVIDIA NIM 微服務包含支援最新發展出的、基於Llama-3架構在大型繁體中文和英文資料語料庫上進行微調的大型語言模型(LLM)Llama-3-Taiwan-70B。主要特點包括強大的語言理解、生成、推理、多輪對話能力。Llama 3 70B 的 NIM 微服務可提供高達 5 倍的輸出量,而Llama 3 70B正是全新Llama-3-Taiwan-70B NIM微服務的基礎模型,可以降低在生產環境中運行模型的總成本,又能減少延遲,讓使用者享受更好的操作體驗。

該模型能更好地理解和反映台灣文化與語言上的微妙之處,有助於確保進行更加精準細緻的溝通,創造出更有效果的輸出內容。與 Llama 3 等基礎 LLM 相比,Llama-3-Taiwan-70B在理解國語、處理本地法律任務、回答問題,以及語言翻譯和總結方面的表現相當優異。

台灣多家產業組織率先採用全新NVIDIA NIM微服務

NVIDIA NIM微服務能夠加速部署、提升整體效能,且為全球醫療保健、金融、製造業、教育與法律等各產業的組織提供必要的安全性。NVIDIA已與台灣多家產業組織合作,導入全新NVIDIA NIM微服務。

台灣領先醫療體系之一的長庚紀念醫院目前正在建置該院專屬的AI推論服務(AIIS),以集中管理醫院體系內的所有LLM應用。長庚醫院使用Llama 3-Taiwan 70B,提供患者能夠理解更細膩的醫療語言,提高第一線醫護人員的工作效率。

長庚紀念醫院醫療人工智能核心實驗室主任郭昶甫醫師表示:「即時提供適合情境的指導,以當地語言 LLM建立的AI應用能夠簡化工作流程,並且當成持續學習的工具,作為支持員工發展與提昇病患照護品質。而NVIDIA NIM的工具簡化了這些應用程序的開發,用最少的工程專業知識,輕鬆存取與部署以當地語言訓練的模型。」

台灣的電子設備製造商和碩聯合科技將採用Llama 3-Taiwan 70B NIM微服務來開發供內部及外部使用的應用。該公司已將這款微服務與旗下的PEGAAi Agentic AI系統進行整合,以達到流程自動化,提升製造與營運效率。

全球石化產品製造商長春集團使用Llama 3-Taiwan 70B NIM 微服務開發用於知識管理、銷售分析和預測、翻譯和品質保證的內部AI平台,提升決策精準度和營運效率。

全球領先的印刷電路板公司欣興電子、科技媒體公司科技報橘、線上合約服務公司律果科技,以及生成式 AI 新創APMIC 同樣正在使用Llama-3-Taiwan 70B NIM。這些公司也在開放模型上進行合作。

利用 NVIDIA AI Foundry 為企業量身打造模型

雖然區域性 AI 模型可以提供文化上的細微差異與在地化的回應內容,企業還是要針對其業務流程與領域專業知識進行微調。

NVIDIA AI Foundry是一個平台與服務,其中包括各式常用的基礎模型、用於微調的NVIDIA NeMo,以及NVIDIA DGX Cloud上的專用容量,為開發人員提供完整堆疊解決方案,以建立包裝為NIM微服務的客製化基礎模型。

除此之外,使用NVIDIA AI Foundry的開發人員同樣可以使用NVIDIA AI Enterprise軟體平台,為生產環境部署作業提供安全性、穩定性與支援。

NVIDIA AI Foundry為開發人員提供必要工具,幫助他們更便捷地建置與部署自身的客製化區域語言NIM 微服務,以支援各種AI應用,確保為使用者提供符合各地文化與語言使用習慣的結果。