體感技術與互動應用的開發與機會 智慧應用 影音
Veeam Q2 M365 Webinar
Event

體感技術與互動應用的開發與機會

  • DIGITIMES企畫

皮托科技(Pitotech)軟體系統處處長陳家明。
皮托科技(Pitotech)軟體系統處處長陳家明。

從多年前關鍵報告到最近不可能的任務4,透過特效技術的運用,電影已經把未來觸控、體感的各種應用,透過銀幕呈現給所有的觀眾了。

皮托科技(Pitotech)軟體系統處處長陳家明指出,體感遊戲的演進,從早期拿光線槍、握駕駛盤的控制方式,進化到大型遊戲機台,再進入家用遊戲機,到最後的體感互動。像微軟Kincect、華碩Xtion體感裝置,外部結構都具備紅外線CMOS攝影機、紅外線發射器,可即時錄製一般RGB彩色影像與相對於螢幕的深度影像(Depth Image)。

體感╱動作感測技術的原理與演進

微軟買下以色列3D V system的Time of Flight(計算飛行時間)技術,並與另一家以色列PrimeSense公司合作,於Kinect使用其Light Coding的3D測量技術。Time Of Flight的原理是計算光線飛行時間,由體感裝置發出脈衝光,碰到物體反射後由裝置接收反射光並計算取得距離;Light coding則利用雷射光照射空間物體產生的散斑(Laser Speckle),經紅外線攝影機記錄以及晶片運算進行解碼後,計算還原出有3D深度的圖像。

陳家明提到,當前動作識別技術有骨架追蹤與姿態辨識研究。骨架追蹤是由攝影機錄製的畫面與3D深度影像綜合判斷,經由判斷出人員身體各部位骨架╱關節點的位置與改變,轉換成動作指令,並以既有累積的龐大動作資料庫,去做到智慧辨識能力;姿態辨識研究則進一步參照影像動作與姿態辨識,作為相關演算法的延伸。

各類型動作擷取裝置╱技術的解決方案

在動作擷取(Motion Capture)技術發展上,目前已有搭配微軟Kinect或華碩Xtion Pro體感裝置的Markesless(無標記物)動作擷取系統…無需要穿戴任何標記物,只需要將受試者的動作拍攝下來並透過系統進行動作分析,系統會自動計算模型的空間位置及動作姿勢,自動將虛擬Model的動作依據圖片的動作進行調整修正,1部攝影機即可完成動作擷取。但擷取解析度、速度與擷取範圍都比較侷限(僅640x480@30Hz、2m X 2m)。

皮托科技的PhaseSpace動作擷取系統,整套系統價格約新台幣百萬元以上,需要設置在專業攝影棚內;它可支援48支光學攝影機,光學解析度為3600 x 3600,擷取速度高達480 frames,同時追蹤高達256個標記,可用於多人物、較寬廣場地,甚至細膩到臉部、手指之動作擷取,並整合虛擬實境系統,適用於3D動畫製作、融合導演攝影、生醫研究與動作分析。

更高精度的陀螺儀動作擷取(Gyro Mocap)技術,如Animazoo IGS-190利用模特兒穿戴內嵌陀螺儀功能的標記物,1個人配戴的整套裝置只須1只皮箱就可帶著走,不需攝影機、攝影棚,同時具備簡易校正、簡易data clearing的特性,同時支援室內100m、室外200m的長距離動作範圍。

擴增實境與體感互動技術應用

陳家明提到,擴增實境(Augmented Reality,AR)可以增加人與虛擬物件的互動,有助於教學、展示與行銷,像是拍攝購物者並結合衣物、皮包或其他商品,所呈現的體感試衣購物應用。目前皮托科技已開發出不少結合虛擬人物到真實世界投影的應用範例,例如翰林文教國中小教學書內的立體模型展示;皮托也提供擴增實境GUI創作工具,供業界進行開發與創造應用。

皮托科技的Vizard體感互動開發系統,僅需搭配微軟Kinect或華碩 Xtion Pro體感裝置,在復健醫療應用上,像是局部支幹活動、全身活動,並提供辨識資料庫;開放式控制介面設計,並支援Rovio(WiFi)、E-puck(bluetooth)等機器人控制介面。

姿態辨識部份則提供人體15個部位,包含頭、頸、身、手臂、腳部等,提供站立、T pose、右手上舉、左手上舉、雙手上舉、右手出拳、左手出拳與投球等動作庫;並結合結合攝影機應用,加入虛擬物件以達成擴增實境的用途。

Vizard從3D物件、分身、影像、視訊與音訊五大類格式資料來源輸入,結合動作感應器,以及支援OpenGL、C++語言/API的著色處理插入套件(Redering Plug-ins),從虛擬到擴增實境的整合式平台化設計,整套系統僅需3秒鐘學習動作,3秒鐘辨識動作,不須寫程式,系統自動學習。可做為機器人控制、臉部追蹤、心智感測、虛擬實境等應用,以及結合物理感測器的擴增實境的應用。