microsoft
活動+
 

微軟運用HoloLens與AI 協助視障者改善人際互動

視障少年Theo運用Project Tokyo的裝置學習運用正常人與人互動交流的情境暗示。微軟

微軟(Microsoft)的研究計畫Project Tokyo運用移除鏡片的修改版HoloLens擴增實境(AR)頭盔,並連線至以圖形處理器(GPU)執行客製化機器學習(machine learning)演算法的PC,提供視障者關於周遭人們的資訊,以協助改善人際互動與交流,讓人際關係的建立更輕鬆自然。

根據TechCrunch與VentureBeat報導,微軟曾推出Seeing AI行動App與Soundscape導航App幫助視障者,2016年推出的Project Tokyo結合美國、英國、日本、印度、中國大陸的研究人員,探索如何運用人工智慧(AI)、AR等技術協助身障者跟周遭環境互動,例如語音助理對無法操作觸控式螢幕或滑鼠與鍵盤的身障者就是一大福音。

人類對於如何與人互動具有非常微妙而複雜的社會理解,包括透過視覺感知周遭人身分、行為、彼此關係與相關程度等,但全球約有2.85億視障者,其中3,900萬為全盲,他們在與人交談時無法察覺與運用非言語的暗示,而對這些暗示與行為幾乎完全陌生的視障兒童,影響將特別明顯甚至導致他們出現反社會傾向、妨礙人際關係發展等問題。

Project Tokyo運用修改版HoloLens,搭配適當的成像軟體以辨識物體與人,使用者以配戴頭帶的方式使用修改版的HoloLens,並接收由客製化的機器學習軟體堆疊(stack)所提供的1組只有使用者聽得到的情境暗示。實際測試顯示這套裝置在協助視障兒童發展社交互動技巧方面極具潛力。

當偵測到有人接近使用者時,HoloLens會發出像是從來者目前所在大概方位與距離產生的點擊(click)聲響以提示使用者,而HoloLens上有1個LED條會追蹤離使用者最近的人,首先LED條會在偵測到人的所在方向顯示白光,而當身分辨識確認時則轉為顯示綠光,這可讓周遭的人知道已被使用者「看見」,也能暗示他們移出裝置的視野。

演算法中有1個電腦視覺模型會偵測使用者周遭人們的姿勢,以提供他們跟使用者的相對位置與距離資訊。此外還有1個模型會分析HoloLens配置的攝影機所拍攝的視訊,以辨識周遭人們的身分並確認他們是否願意讓系統提供姓名資訊。使用者也可要求系統提供這些人的空間資訊,並在當中有人直視使用者時提供空間化的鐘聲(chime)提示。

若演算法辨識出來者是使用者認識的人,HoloLens會發出撞擊(bump)聲且宣布來者姓名,同時發出另一個類似彈力帶拉長(stretching)的聲響,以引導使用者轉頭跟來者面對面。若來者是陌生人或無法清楚辨識,HoloLens也是發出拉長的聲響,並隨著使用者轉向來者而調整播放,直到雙方面對面、HoloLens的鏡頭正對來者時則會停止並發出點擊聲響。

實際應用於1位12歲視障少年Theo的測試結果顯示Project Tokyo這套裝置極有助益,Theo除了驗證裝置的優缺點外,也能開始學習運用正常人與人互動交流的各種暗示,包括轉頭面對某人以刻意表達對那個人的關注,發展「掃視」周遭以密切注意鄰近人們的方法,以建立更積極的社交態度與技巧。

接下來Project Tokyo這套裝置必須大幅提升穿戴便利性與降低成本,以滿足長期配戴與普及化需求。此外也必須拓展支援更多情境暗示,包括表情、姿勢、手勢等。未來Project Tokyo在建立AI系統與其他現代便利設施的規劃,將持續關注以往很少受到諮詢的特定使用者群體,以真正滿足其需求。


  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: AR HoloLens