品安科技
活動+
 

Facebook結合虛擬化身與無標記人體追蹤以提升虛擬實境體驗與沉浸感

Facebook以未穿戴追蹤器或無標記的方式,追蹤人體全身骨骼與肌肉動作。Facebook

Facebook正在發展結合虛擬實境(VR)虛擬化身(avatar)與人體全身追蹤(full-body tracking)的技術,希望提供低成本、低延遲、超真實(hyper-realistic)、外觀與動作都如同真人一般的全身虛擬化身,在VR環境中跟虛擬物體與其它虛擬化身的互動能更逼真並提升沉浸感。

根據UploadVR報導,2019年3月Facebook宣稱在建立虛擬化身的3D立體臉部已有進展,能如照片般真實(photorealistic)的即時對應被模擬者的表情與動作,接著於5月1日在F8開發者大會展示以未穿戴追蹤器(tracker)或無標記(markerless)的方式追蹤人體全身的技術,能追蹤肌肉活化程度(activation level)而不僅止於骨骼,因此可提供更多栩栩如生的細節輸出。

由於現有的VR頭盔與控制器僅能追蹤到使用者頭與手的動作,因此目前VR app中的虛擬化身受到限制通常也僅由頭與手構成。HTC Vive運用Vive Tracker提供人體追蹤功能,但若要獲得高品質的結果則成本極高,需要同時使用多個單價99美元的Vive Tracker,且每次使用者要在VR中進行人體追蹤,每個追蹤器都需要穿戴在使用者身上並持續充電。

Facebook認為能完整追蹤人體全身的虛擬化身技術還需要多年才會成熟,挑戰之一是目前市售現成的感測器無法追蹤人體全身以產生完整的虛擬數位化身,既使Facebook自有品牌Oculus的Quest VR頭盔能讓使用者在VR環境中看到虛擬化身的全身,但仍只能控制頭與手,且客製化的選項也偏向於虛擬化身的卡通化或虛幻化。

Facebook還在F8開發者大會宣布正在製作更逼真且符合解剖學的人類全身骨骼模型,並套疊上肌肉與皮膚以即時(real time)追蹤人體移動的方式並複製到VR環境,同時也運用基於物理學的軟體找出當一個人在進行跳舞或伸展等動作時衣服實際移動的方式,可在VR中重建與模擬人體在動作時身上衣著連動的狀況以提升真實感。

Facebook運用價格合理、單一而非陣列(array)的外部感測器,以及無標記的方式追蹤人體全身,未來技術普及至主流VR裝置,可望促成全新的遊戲型態並大幅強化社交(social) VR。Facebook認為要將人體追蹤技術內建於消費性VR頭盔可能還要數年的發展,Facebook的人體追蹤技術最終可望內建於Oculus品牌的VR頭盔,預估大約2022年左右才會上市。

Facebook Reality Labs在F8開發者大會也展示了一項關鍵性、較大型的人體追蹤應用初步原型,為兩名遊戲參與者包含身上的衣著建立超真實的虛擬化身,在虛擬足球場上踢虛擬足球,顯示Facebook的人體追蹤技術延遲夠低,能支援相關的運動型態,遊戲參與者的VR頭盔安裝了OptiTrack的標記(marker),因此很可能是採用多攝影機multi-camera的配置。

Facebook發展的虛擬化身系統稱為Codec Avatars,運用132個攝影機捕捉被模擬者的各種臉部表情,以建立如照片般真實的專屬虛擬化身。Facebook並未揭露追蹤人體的系統實際上需要多少硬體支援才能達到低延遲的成果,但Facebook須研究運用臉部或指紋辨識等各種技術,將個人對應到專屬的虛擬化身,以確保虛擬化身的安全。

Facebook指出目前要建立栩栩如生的虛擬化身,需要以高度客製化的攝影機與麥克風系統,擷取被模擬者大量高品質的語音與視訊資料,並據以訓練人工智慧(AI)系統透過機器學習(machine learning)技術建立逼真的虛擬化身,未來則可望讓使用者僅透過少數照片與視訊資料,即可快速、容易的自行建立其專屬的Codec Avatar。

更多關鍵字報導: Facebook VR 虛擬化身