NVIDIA力助桃園機捷 打造互動語音AI實踐無人客服智慧車站 智慧應用 影音
工研院
Event

NVIDIA力助桃園機捷 打造互動語音AI實踐無人客服智慧車站

  • 范菩盈台北

桃園機場捷運互動語音AI與虛擬分身「霏霏」。NVIDIA
桃園機場捷運互動語音AI與虛擬分身「霏霏」。NVIDIA

桃園大眾捷運股份有限公司(桃捷公司)為在車站實現以科技取代真人、提供更優質的服務和增強旅客體驗,率先在機場捷運系統的A18高鐵桃園站和A20興南站導入虛擬智慧站務人員「霏霏」。桃捷公司透過與台灣在地開發商喬泰科技合作,採用NVIDIA(輝達)的人工智慧(AI)軟、硬體平台和開發環境,並結合NVIDIA的技術諮詢服務NVIDIA AI Enterprise打造了「霏霏」AI語音客服系統。

桃園捷運站務中心主任謝明融表示:「當這個計畫構想成形以後,最重要的就是如何找到能達成我們想要效果的合作夥伴與技術,在公開徵選時喬泰科技提出了以NVIDIA為核心的整體運用技術,在經過了評選之後成為我們的夥伴,歷經了多次的討論與修正,終於讓虛擬站務人員「霏霏」呈現在大家的面前,成為我們桃園捷運旅客服務的重要里程碑。」

台灣第一套基於完整AI互動語音與虛擬分身(Avatar)的客服系統,也是首度將AI語音技術與真人後台結合的客服系統。NVIDIA

台灣第一套基於完整AI互動語音與虛擬分身(Avatar)的客服系統,也是首度將AI語音技術與真人後台結合的客服系統。NVIDIA

喬泰技術長黃祥麟表示:「我們在向桃園捷運提案時即提出NVIDIA的平台是實現這套需要同步整合AI、邊緣運算、雲端運算與虛擬分身的首選。歸功於NVIDIA多元完善的軟、硬體資源與開發環境,團隊得以針對 AI與系統整合進行優化,實現這套台灣首創的落地元宇宙應用。」

霏霏能如真人般與旅客進行實時互動,自動即時辨識中、英、日、韓四國語言的提問,正確回答旅客站務、票據、乘車資訊及週邊旅遊景點等相關諮詢。當受到嚴重噪音干擾或遇到無法解決的問題,霏霏在第一時間也能轉由真人客服提供服務,並同步將先前客服對話過程轉為文字敘述,便於真人客服快速釐清旅客問題。

霏霏不僅是台灣第一套基於完整AI互動語音與虛擬分身(Avatar)的客服系統,也是首度將AI語音技術與真人後台結合的客服系統。為桃園機場捷運系統注入科技、年輕化、國際化,以及既簡易便利又高效率的新氣象。該服務建立在相比點選螢幕更為直覺的AI自然語音互動基礎上,而站務人力資源則能更加妥善分配至其他站務所應用。

霏霏背後的技術架構是採用分散式運算方式,將不同延遲需求的工作流適時分配給邊緣運算與雲端運算處理;邊緣運算使用的是NVIDIA GeForce RTX 3090硬體系統,而雲端運算則串接到Google Kubernetes (K8S) 平台,並結合NVIDIA Triton推論伺服器將霏霏邊緣系統所接收到的AI運算需求分流至邊緣系統與K8S平台。實際執行模式包括幾個重要程序:語言的輸入、語言的文字轉換、AI語意理解與找尋問題的答案、結合虛擬分身與合成語音的解答。

霏霏是在人流量極大、環境噪音複雜的交通要點,需利用最新型降躁麥克風接收語音,並借助NVIDIA Maxine SDK進行輸入語音降噪,使語音資料在進行文字轉化前更為乾淨、易於辨識,再把資料傳遞到基於 AI 的語音與語言模型神經網路模組進行語言理解,最後把輸出的回答結合Unreal Engine進行角色渲染與輸出。

多項NVIDIA重要的自然語言技術是打造霏霏的核心,包括NVIDIA Riva語音人工智慧SDK協助將旅客的談話辨識並轉化為文字、NVIDIA NeMo大型語言模型(LLM)模型服務 做為霏霏提供自然應答的AI語言模型,利用NVIDIA Triton推論伺服器進行部署。為實現流暢的AI自然語言互動,以搭載8張V100 GPU的系統執行NVIDIA NeMo Framework進行AI語言模型訓練,將基礎模型與站務、票據與觀光資訊等相關的資料投入訓練。

霏霏率先證實以AI打造智慧車站客服平台系統的真實可行性,霏霏是一個極佳的車站AI化的開始,未來如霏霏這樣結合自然語言與虛擬分身的智慧服務系統也將陸續擴大至更多的大眾運輸系統,以提升大眾運輸系統的服務品質。結合AI運算的高效能GPU技術,同時針對各類AI應用率先提供開發者友善工具且不斷精進的NVIDIA軟硬體技術與平台,勢必將是引領此類智慧客服與虛擬分身應用的關鍵所在。