智慧應用 影音
IBM
event

Google重建3D地標模型 適用AR與VR

Google研究人員運用神經網路(Neural Network)與目標地點的群眾外包(Crowdsource)照片,不僅可同時自動化進行3D地標模型製作程序並能改善輸出結果,因此重建出的真實世界地點的3D模型,其地標與光影的呈現能如照片般栩栩如生且可信度極高。 

 點擊圖片放大觀看

NeRF-W系統製作的法國巴黎聖心堂3D模型,可消除人物、車輛等動態物體。NeRF in the Wild網站

根據VentureBeat報導,運用3D模型精確重建真實世界地點一向極具挑戰性,Google發展的變通方案NeRF-W(NeRF in the Wild)系統是基於神經發光場(NeRF)這項複雜的技術,其概念是藉由判定光線終止位置的方式,來從2D影像擷取3D深度資料,因此單靠NeRF技術就能創建出一個可信、具有紋理的3D地標模型。

NeRF-W系統製作的3D地標模型呈現效果優於2019年推出的Neural Rerendering in the Wild系統與標準NeRF系統的輸出,能區分在不同照明下的3D建築物,且從不同角度與時間觀察時都能保持平滑,以前所未有的逼真程度,讓擴增實境(AR)與虛擬實境(VR)裝置的使用者沉浸式體驗,複雜的建築物地標在不同天候或一天中不同時間呈現的實際景致。

Intel也是基於照片製作3D模型以合成真實世界的地點,運用回饋式(Recurrent)編碼-解碼網路與多張照片,以內插法產生未拍攝到的角度,輸出效果在畫素層次的銳利度與空間平滑度,均優於標準NeRF等許多其他系統。不過 Intel的系統似乎並未具備如同NeRF-W的各種照明相關功能,或是對隨機的群眾外包照片有同樣的關注。

NeRF-W系統採用群眾外包照片,讓電腦從各種不同角度觀察地標;運用神經網路分析照片以找出結構體,區分出照片曝光、場景照明、後處理、天候等攝影與環境相關變化,以及辨識照片與照片間出現的人物、車輛等動態物體的差異;整合提供容積測量發光(volumetric radiance)資訊的動態元素,以及結構外型與紋理等靜態元素以重建3D地標場景。

NeRF-W系統製作的3D地標模型,基於群眾外包照片的光影資料提供發光指引,從各個角度都能提供平滑的視覺呈現,以及適切的場景照明與陰影,因此不會有突兀與明顯的人工感。NeRF-W系統將照片中的人物、車輛等動態物體視為可被消除與無需強調的不確定區塊,而標準NeRF系統則不會區分這些物體,因此會呈現出像雲一樣遮蔽的人造物。

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: Google 3D AR VR