TWCC
event
 

Oculus Quest內建手部追蹤 實現VR手語教學

瑞士伯恩應用科技大學電腦感知與虛擬實境(Computer Perception and VR)研究團隊CpvrLab,運用Oculus Quest VR頭盔內建的手部追蹤功能,開發出辨識與教授23個德國手語交談字母手勢的Quest App。

 點擊圖片放大觀看

C?dric Girardin的Quest App能在VR環境教導使用者23個德國手語交談字母的手勢。cpvrLab

根據Road to VR報導,虛擬實境(VR)環境主要依賴口語與肢體溝通方式而非文字,因此聾人在VRChat等沉浸式社群平台需要溝通時經常遭遇許多障礙,雖然簡化版手語溝通在VR環境使用已有一段時間,但對聾人而言仍不夠方便。此外現有的VR控制器對手語的支援還相當有限與笨拙,非常需要能在VR環境中完整辨識原生手語手勢的工具。

使用者戴上Oculus Quest VR頭盔即可使用Quest App,在VR環境中學習23個德國手語交談字母的手勢,使用者模仿比畫出來的每一個手語手勢都會在VR環境中以3D的方式呈現,並由App即時分析與辨識,再跟內建的手勢模型比對檢查是否正確無誤,因此技術上而言只要擴充手勢模型,就有機會支援任何種類手語手勢的辨識與比對。

目前尚無App能在虛擬實境(VR)環境中完整教導使用者學習手語,但運用VR訓練手語字母手勢的App,已證實現有技術具有實現目標的潛力,雖然只有基本功能且侷限於德國手語交談應用,但已計畫儘快將其App以開源方式釋出,以利第三方將不同種類的手語手勢新增到手勢模型,或強化手勢辨識與比對的能力。

VRChat的使用者指出,由於現有的VR控制器無法提供完整手指追蹤功能,因此正確辨識手語非常困難。雖然簡化版的新手勢讓聾人在VR環境中達到某種程度的溝通,但最終仍應發展能讓聾人在VR環境中,以完整的原生手語溝通的工具。此外地區與語言的不同,也讓所使用的手語形成差異,因此需要有更準確的輸入方法,以免問題更加複雜化。

Quest體驗、遊戲、工具的非官方程式庫SideQuest已免費提供Quest App,有興趣體驗者可透過SideQuest將App側載Oculus Quest VR頭盔。雖然Oculus Quest VR頭盔內建的光學手部追蹤功能並非完美,不過確實為解決聾人在VR環境使用原生手語的問題帶來一線曙光。

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: VR