科技產業報訂閱
event
 

Facebook虛擬化身再進化 神經網路預測臉部表情

Facebook所開發的虛擬化身系統Codec Avatars,結合攝影鏡頭、機器學習與電腦視覺技術,能夠偵測細膩的臉部表情。擷取自Facebook Research

Facebook在25日宣布原隸屬在Oculus VR旗下的研究部門Facebook Reality Labs,未來將整合虛擬實境(VR)與擴增實境(AR)團隊技術資源開發下一代設備。

根據UploadVR報導,收購Oculus的Facebook在2019年3月首次展示更逼真的虛擬化身系統Codec Avatars,結合攝影鏡頭、機器學習與電腦視覺技術,能夠偵測細膩的臉部表情。

近期Facebook Reality Labs透過人工智慧(AI)進一步改善這套虛擬化身系統,現在可以在沒有臉部追蹤攝影鏡頭的情況執行,用更少的設備達到相似效果。

即使Codec Avatars系統可整合硬體,但目前的VR頭戴式裝置不必另外搭載攝影鏡頭捕捉臉部和嘴。若將這些攝影鏡頭結合至裝置不僅會增加成本,而且整體VR頭盔的重量也變得更笨重。

報導指出,更新後的虛擬化身系統將利用新的神經網路把眼球追蹤資料和麥克風的音訊融合,從而推斷出人類可能做出的臉部表情。

與臉部表情攝影鏡頭不同的是,眼球追蹤技術不只用在虛擬化身,能實現精確的光學校準,甚至讓畫面更接近人眼視覺,而Oculus也可能將眼球追蹤技術導入VR裝置。

研究人員表示,神經網路從音訊中辨認一些細微的動作,比舔嘴唇。不過這種VR設備需要搭配高品質的麥克風。

據了解,訓練模組需要以多鏡頭模式3D捕捉每個特殊表情,每位使用者須錄製45分鐘。雖然Facebook Reality Labs運用了新技術,但仍然未解決Codec Avatars系統的核心問題。

對用戶來說,大多數使用NB的網路攝影鏡頭進行遠距會議,或許在不久的某一天,將改變面對面交流的必要性,在線上視訊時也能夠與真實比例的好友化身虛擬互動。


  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: Oculus VR 神經網路