解放鍵盤遙控器的3D互動人機介面技術
- DIGITIMES企劃
-
從電影關鍵報告中，主角湯姆克魯斯以流暢的手勢操控電腦，到Nitendo Wii、微軟Kinect、華碩WAVI Xtion Pro等產品，到三星、Panasonic智慧電視的手勢控制，以3D立體空間的肢體控制與互動運算，不僅將人機介面的操控體驗帶來新的層次，也帶動相關影像感測＆辨識晶片與多軸向MEMS動作感測器的發展…
從智慧連網電視、Ultrabook、AIO一體機、Tablet平板電腦、遊戲機(Game console)到智慧手機(Smartphone)，以致於當前正紅的穿戴式裝置(Wearable Devices)，任何消費性電子產品要能在市場上獲得成功，不僅要在外觀造型上取勝，同時在人機介面設計上得要親和且容易操作；不僅能靠自己的顯示幕做高解析度甚至是3D立體的顯示，還能夠藉由WiFi無線連接，將軟體操作畫面、網路串流視訊等畫面，橫跨電視、桌機、筆電、平板、手機而達到多屏一雲的跨界應用。而相關Z軸向多點觸控面板＆晶片，紅外線影像感測＆辨識晶片，以及多軸向動作感測器晶片是啟動這波3D互動運算的技術關鍵。
目前應用在人機介面的3D互動運算技術，可分為Touch Sensing(觸控感應)、Tactile Feedback(觸覺回饋)、Facial Recognition (臉部辨識)、Motion Control(體感╱動作控制)、Voice control(語音控制)與Environmental Sensors(環境感測)等六大類。目前多點觸控已成為智慧手機、平板，以及Ultrabook、AIO的必要規格。新的觸控IC也追加上能感測垂直於面板(Z軸向)按壓力道的能力，做出觸覺回饋的功能。接下來是應用前面介紹過得許多3D環場音效、3D立體化╱立體顯示技術，配合自行開發或從Android OS環境所開發的UI操控介面，讓一切視窗、選單，圖像以至於呈現的物件，都能有遠近、立體景深與層次感，讓用戶在操控數位裝置時，對這些立體浮顯的螢幕資訊呈現方式會更有Fu。
像三星(Samsung)的高階智慧電視機種，除了隨機附上遙控器之外，另外還可以用語音(Voice)、體感控制(Motion Control)或臉部辨識(Facial Recognition)三種方式來操控電視。其原理是在電視機頂端，設計了類似微軟Xbox Kinect的感測攝影鏡頭，當用戶只要說出”Hi TV”，即會出現麥克風的聲控提示圖像，此時可以用語音方式調整音量大小、切換頻道、開關機；若需切換到其他工作視窗，此時以字母畫面於左上方顯示視訊，其他可切換的工作視窗，則可透過舉手移動的方式來移動游標，並且抓該圖示來達成點選(Click)的動作。
3D互動運算帶動攝影機與CMOS感測晶片的發展
接下來隨著CMOS影像感測晶片的軟體演算法的進化，不僅筆電╱平板╱手機的攝影鏡頭，能夠追蹤人們的眼球，做用戶的臉部特徵辨識，裸眼3D的可觀視角的調整。微軟(Microsoft)買下以色列3D V system公司的Time of Flight(計算飛行時間)技術，由體感裝置發出脈衝光，碰到物體反射後由裝置接收反射光，並計算距離。
微軟也與另一家以色列PrimeSense公司合作，使用Light Coding的3D測量技術，利用雷射光照射空間物體產生的反射散斑(Laser Speckle)，經紅外線攝影機記錄以及晶片運算進行解碼後，計算還原出有3D深度的圖像，計算出人員身體各部位骨架╱關節點位置與改變，轉換成動作指令，並以既有累積的龐大動作資料庫，去偵測用戶肢體動作，辨識其手勢(Gesture)來達成操控目的，成為微軟於Xbox 360遊戲中搭載的Kinect體感控制套件的技術精髓。
隨後華碩(ASUS)也跟PrimeSense公司合作，開發WAVI Xtion、WAVI Xtion Pro體感控制攝影機套件。可以附掛到客廳的大尺寸液晶電視旁，而遊戲軟體在書房或個人房間的電腦主機或筆電；Xtion/Xtion Pro可以將位於客廳大螢幕做體感控制動作，藉由WiFi無線傳輸回房間內的電腦主機或筆電，這樣家庭成員就可以在大螢幕電視玩互動遊戲、做體操。
Leap Motion則開發出大小跟一般隨身碟類似的體感控制棒，只要透過連接USB連接線並安置在大尺寸螢幕的底座附近，安裝好相關驅動程式即可運作。Leap Motion體感控制棒內含兩個攝影鏡頭和紅外線感應器，感應範圍大約27吋螢幕顯示器大小；用戶直接以手指點選、手掌揮動等手勢來控制電腦。
而創新科技(Creative)與英特爾(Intel)合作，推出Interactive Gesture Camera體感攝影機套件，可以安置於Ultrabook等超薄筆電面板上方；其3D相機技術利用軟體與累積的識別資料庫，可以隨時偵測用戶的情緒與眼睛觀賞方向，並提供臉部辨識、手勢操控等功能。
另一種體感╱動作控制，則是已廣泛內建於手機、平板、遊樂器的陀螺儀(Gyro)、加速儀等3D多軸向動作感測器，藉由偵測手機、平板握持姿態的改變調整顯示畫面格式；像任天堂的Wii/Wii Fit與Wii U、Sony的PS Move和PS Eye等，透過手持搖桿的方式做體感控制。
語音控制則是以高靈敏度降噪麥克風，搭配語音辨識軟體技術，如蘋果iPhone Siri，Google Web Speech API與Android語音輸入控制，以及三星(Samsung) Smart TV語音控制轉台等功能。最後環境感測則是數位裝置內建了像是光源、物體接近、溫度、壓力、磁力等感測元件下，能夠隨時偵測數位裝置與用戶周遭環境的光源、溫度、壓力、磁力、用戶靠近程度，配合著軟體演算法與前面介紹過得種種HMI/UI人機介面，能夠更加的智慧互動且相輔相成。
通常體感控制與環境監測，需要有以微機電(Micro-Electro-Mechanical System；MEMS)─以微米甚至奈米級IC製程技術所製作，具備小尺寸、微型比例、陣列、多功能、整合機械與電子動作原理的的微小感測裝置。像高靈敏度抗噪訊麥克風、遊樂器的控制搖桿、手機與平板電腦等行動裝置，多半會使用到磁力儀(Magnetometer)、陀螺儀(Gyroscope)、壓力計(Pressure sensor)、加速度感測計(Accelerometer)、距離感測器(Proximity Sensor)等MEMS感測元件。這些感測器未來也會做SoC異質性整合，提供更全面性的體感控制與環境監測能力。
3D互動運算納入腦波控制 朝擴增實境與應用
在科幻電影常看到的腦波操控(Mind Control)，目前有神念科技(Neurosky)這家廠商，推出大小跟一般耳戴式耳機相當的Mindwave腦波控制套件(EEG Kit)。它是屬於非侵入式設計，售價不到150美元，連接電腦後可以以腦波來做游標定位、方向控制與簡易命令，是頗令人期待的人機互動介面技術。
3D互動運算技術，可以用在像是擴增實境(Augmented Reality；AR)，透過實地計算攝影機影像的位置及角度，將虛擬世界數位人物套在現實世界上並進行互動。例如電子化妝試衣間，用戶透過螢幕點選服裝之後，攝影鏡頭拍攝用戶全身畫面並且與服裝做結合；還有汽車內的衛星導航系統，能將許多提示箭頭指標、數據，以半透明淺色系投射於擋風玻璃跟窗外景色融合。
此外像是電子醫療照護(eHealcare)，用戶配戴能回傳感測數據的穿戴式裝置，搭配軟體設計來鼓勵用戶運動或復健，除了紀錄運動時間與數據之外，成效則全憑個人感覺；當加入3D互動運算技術，可以即時線上教導、互動式的回饋與控制，並即時查核的身體各種檢測數據，使電子醫療照護可以更全面、更完善。
