MEMS、紅外線偵測、機器視覺 建構體感控制應用基礎 智慧應用 影音
EVmember
member

MEMS、紅外線偵測、機器視覺 建構體感控制應用基礎

  • DIGITIMES企劃

為強化Wii動態感應互動精細度,Nintendo採取外掛Wii Motionplus配件強化感測精度。Nintendo
為強化Wii動態感應互動精細度,Nintendo採取外掛Wii Motionplus配件強化感測精度。Nintendo

建構體感控制與互動環境,必須將空間、動作、位置...等資訊,以極短的時間擷取、分析、傳送、解譯進而體現於產品或應用上,其間採行之技術牽涉極為廣泛,通常無法僅以單一感測技術完成,在還未有SoC化的整合方案推出前,開發相關消費性電子產品,仍須將建構體感操控環境的獨立電路與控制IC,進行深度系統整合...

體感操控,已經成為目前電子產品開發的顯學,不只是超熱門的遊戲主機應用,就連我們習以為常的日常消費性電子,也已朝體感操控、互動的方向進行功能整合與強化。

陀螺儀、加速度計、地磁感測電子羅盤,仍是控制器形式體感應用的關鍵零組件,可達到更精確的感測精度。Sony Computer Entertainment

陀螺儀、加速度計、地磁感測電子羅盤,仍是控制器形式體感應用的關鍵零組件,可達到更精確的感測精度。Sony Computer Entertainment

PrimeSense除供應kinect體感控制核心技術,亦提供開發套件、SDK供消費性電子廠商整合體感控制。PrimeSense

PrimeSense除供應kinect體感控制核心技術,亦提供開發套件、SDK供消費性電子廠商整合體感控制。PrimeSense

PrimeSense可在無手持控制器、配戴裝置情境下,精確偵測人體手勢、動作、姿態。PrimeSense

PrimeSense可在無手持控制器、配戴裝置情境下,精確偵測人體手勢、動作、姿態。PrimeSense

PrimeSense感測系統透過彩色攝影機、紅外線攝影機搭配機器視覺,達到3D空間Z軸深度偵測。PrimeSense

PrimeSense感測系統透過彩色攝影機、紅外線攝影機搭配機器視覺,達到3D空間Z軸深度偵測。PrimeSense

完全不需控制器的體感偵測控制應用,可讓互動形式更具彈性,開發如跳舞、運動類型的體感控制遊戲。Microsoft

完全不需控制器的體感偵測控制應用,可讓互動形式更具彈性,開發如跳舞、運動類型的體感控制遊戲。Microsoft

例如,以往操控電視的應用情境,若非觀看者趨前透過手指觸按選台按鈕,就是觀看者透過IR遙控器進行遙距無線選台操作,這是傳統的應用形式,假若產品的控制方式換成皺皺眉或是揮揮手,就能進行收視頻道切換、內容調整,甚至更細微的操作行為,對消費者來說肯定更為新奇有趣,同時也能為已趨向紅海競爭的產品取得更有利的市場競爭地位。

體感操控成顯學 消費性電子前衛應用基礎

要達到實用化的體感操控與互動,有相當多的條件限制,一方面消費性電子產品必須在有限的空間或透過簡易的裝載方式,即能輕鬆建構體感互動的訊息擷取環境,這代表感測系統必須容易裝設,同時具備更高的應用彈性、感測精準度,而體感操控的應用效能也是一大關鍵,必須在用戶體態、手勢有所變化時,在極短時間內解析動作,同時反應操作結果。

這對於感測系統與訊號處理、傳送架構都是一大考驗,若能達到各項要求,此體感操控的消費性電子產品仍僅在及格邊緣,應用的關鍵在於操控形式(手勢)能否易於學習、記憶,不同的操作指令能否被系統精確區隔判讀,而不會出現錯誤認知;此外,增加操控系統的易學性與互動回饋精確度,則是建構體感系統必須持續努力的方向。

目前最複雜的體感操控應用,同時也是最具量產效益的體感操作系統,可以3大遊戲機業者的Wii、PlayStation3 Move、XBox 360 Kinect為代表,且均已具備遊戲水準的體感操控系統。檢視其系統選用之感測技術即可了解,不管是何種型態的體感操控應用,其系統肯定能找到對應的MEMS微機電元件與設計,幾乎所有產品的設計都無法避免使用MEMS元件。

微機電技術日益普及 為體感控制技術發展關鍵

目前MEMS元件產品,舉凡MEMS陣列式麥克風、MEMS加速度計、MEMS壓力計、MEMS陀螺儀、MEMS電子羅盤(地磁感測)...等元件,已相繼成為行動電話的必備元件,而這些MEMS元件也不僅有生活類型產品的加值應用,在醫療或是M2M的應用環境,仍然扮演相當關鍵的角色。

而MEMS技術在半導體微縮製程持續改善下,元件的體積、效能、精密度已經達到消費性電子應用的要求水準,同時關鍵元件的成本持續下滑,更為產品選用對應感測技術增加更多誘因。

MEMS目前在消費性電子的應用,主要以遊戲機的體感控制器、高階智慧型行動電話為大宗,而MEMS的應用對現有的消費性電子產品,具備更劃時代的功能整合與強化使用體驗。例如,目前有線電視動輒上百台內容,若遙控器可整合如陀螺儀、加速度計等MEMS元件,除了單純的按鈕傳送控制指令外,遙控器還可衍生如遊戲機般的搖晃、指向、手勢指令...等有趣的控制應用。

相同的應用,在家用網路通訊設備,也可使用對應的體感控制技術增加系統的使用彈性,例如,家用的網路通訊設備,在進行視訊對談時可以自動感測使用者位置、距離,動態調校畫面對焦與重點內容呈現,而透過MEMS陣列麥克風收取最佳化降噪後的免持對話語音。

同時搭配電子伺服馬達同步控制進行多人視訊會議之畫面切換、鏡頭移動、特寫擷取等細微操作,整個過程均不需動手操控繁複指令,僅需由體感控制搭配簡易手勢、動作解析應用意圖,輕鬆達到更好的設備應用體驗,這些都是未來體感控制最想達成的功能整合效益。

體感操控系統設計 因應產品實用性

但本文一開始也談到,體感操控之設計方案,在產品規劃之初即限制相關感測技術、設置環境,必須在容易架設的前提下,達到最佳化的產品應用精度、感測效能要求。

因此,容易架設的前提或是感測元件直接與設備整合的微縮設計系統,也會造成體感或指令擷取的限制(感測範圍、動作複雜度、反應效能),影響體感控制設備在使用上出現不如預期的便利性,如何達到能滿足應用目的、同時又能達到最佳化的體感操控、互動的目的,成為體感偵測應用系統的設計關鍵。

從目前的應用型態與已經大量上市的應用產品觀察,相對較完善的應用整合方案,仍以TV Game遊戲機應用為主,例如,Wii與PlayStation 3這兩款遊戲機,為搭配紅外線感測或是camera and video-tracking基礎技術,再搭配整合MEMS元件(加速度計、陀螺儀、地磁感應器)...等技術,去建構體感應用環境的現場與使用者體感互動基礎資料擷取,再搭配遊戲機與開發SDK(System Development Kit)資源,讓相關遊戲開發商能在SDK與感測架構基礎下,快速發展多元的體感遊戲產品。

以家電形式發展的體感操控與互動應用來說,較多的應用情境並非如同遊戲般必須感測複雜的指令與回饋動作,而是相對單純的指令擷取與動作反饋,相對所需使用的系統就不如遊戲機提供的感測技術這麼複雜,而元件的感測精度與訊息處理效能,雖不用朝高標準要求,但也必須注意控制應用的體驗,若過度壓低產品成本導致互動延遲較長,也會讓體感操控的應用品質大打折扣。

即便體感操控、互動應用方面的技術,老早在5~10年前相繼達到可用的技術研發程度,但實際上體感操控、互動應用相關的感測解決方案,多數產品仍處於由各家廠商自行整合的形式,或採離散系統的形式進行開發。

離散式體感控制方案 增加系統整合難度

例如,遊戲機的體感控制器就是由多個MEMS元件整合,可能跨多家廠商、多種感測技術元件方案,這對於想投入相關應用的消費性電子業者來說,在產品的整合彈性、開發速度、功耗控制、產品體積...等條件,甚至是整合方案的成本,都會形成不低的進入門檻。

而為達到高效能、高精度要求,部分廠商也嘗試採取客製化整合微機電IC作為開發系統形式,例如,PlayStation Move體感控制器採用的晶片方案,主要的關鍵晶片除藍牙無線模組外,大多為客製化產品,光是Move控制器內就應用了STMicroelectronics、Kionx、CSR、AKM Semiconductor...等半導體供應商產製之晶片。

Move體感控制器所具備的6軸運動感測應用(STMicroelectronics),同時內建6軸加速度計(Kionix),及另一對分別針對yaw與pitch and roll控制機制設置的陀螺儀(STMicroelectronics)的整合方案,同時Move體感控制器還採用1顆AKM Semiconductor產製之electronic compass(電子羅盤)晶片,光是一個體感控制方案就已經是相對複雜的系統設計,其間如何達到最具效率的資料擷取與整合、感測資料傳輸方式,都成為系統開發的技術門檻。

感測IC整合方案 降低體感應用開發難度

在體感應用的整合方案需求日殷的市場環境下,也有晶片業者嘗試推出整合或內嵌體感控制應用的整合方案。例如高通(Qualcomm)即收購 GestureTek部分資產,取得gesture recognition(體感識別)相關技術,在Qualcomm計畫中預期會將體感識別技術,整合至Snapdragon行動處理器,藉此使應用Snapdragon行動處理器方案的智慧型手機、平板電腦或其他消費性電子產品,都能直接以低成本、高效益方式,直接銜接所需的體感控制應用技術,而不需再費神整合離散的MEMS元件。

GestureTek成立於1986年,高通收購項目主要以GestureTek的體感識別技術、engineering resource,GestureTek基本上擁有8項在1996年取得之camera and video-tracking專利,另具備其他37項專利相關申請案。

技術整合的方向,可讓體感控制、互動應用的系統設計速度加快,甚至透過完善的整合方案,可以讓原有的消費性電子產品,以最低的成本、最少的時間完成體感控制技術整合,快速因應多變化的消費性產品市場!而應用整合元件也有相當多的優勢,一方面整合元件為整體經過驗證的配套方案,在產品開發初期可更聚焦產品的核心應用功能,不必分心進行感測元件的架構整合,甚至感測元件整合方案可以輕鬆的與現有系統進行電源管理系統銜接,不必重新針對重點感測元件或系統方案進行開發。

免控制器的體感操控設計正夯

體感應用與互動設計,另一個發展極致為整個體感控制完全不需控制器與配戴式產品的輔助,即可達到精確的動態與空間感測資訊擷取。以PlayStation Eye攝影機系統為例,為採用Omnivision的VGA@60fps的彩色CMOS攝影機解決方案,來進行彩色視訊擷取,同時搭配video-tracking將遊戲者的動態、肢體節點轉換成數據資料,但即便是可利用video-tracking取得動態資料,在實際應用上仍缺乏場景的深度資訊。

PlayStation Move的體感偵測方案,PlayStation Eye攝影機系統為輔助角色,其感測的結果仍會參考Move體感控制器的地磁感測(電子羅盤)、加速度計、陀螺儀...等相關數據,再搭配PlayStation Eye攝影機的video-tracking感測結果整合分析,精粹出相對具精確度的肢體動態感測資訊,供體感遊戲進行互動操控應用。

但最佳的體感應用設計,極致目標為朝向完全不需控制器的整合方向,目前Microsoft的Xbox 360遊戲機採行的動作感測介面裝置kinect,即是朝完全不需控制器方向發展的體感控制技術。

kinect的技術核心為以色列一家無晶圓半導體公司PrimeSense所開發的感測技術,PrimeSensor為利用1組彩色攝影機搭配紅外線攝影機,達到取得彩色畫面與場景深度資料的參考設計,讓機器能達到近似人類視覺,可辨識動態距離感的應用形式,使機器能夠辨識、理解3D世界。

PrimeSensor實作方式為透過1組Class I等級的紅外線設備,向空間持續投射人眼看不到的圖案,而透過紅外線攝影機再將投射圖案擷取,利用擷取圖案的差異來判斷攝影範圍的物體遠近差異,而採行Class I等級的紅外線設備可避免對遊戲玩家的人眼造成傷害,同時又可以達到遠距離聚焦、準確判斷距離感的設計要求。

以PrimeSensor實作的測距精度,可以在空間深度(Z軸)的精密度達到1cm水準,空間的X和Y軸解析度則可達到mm毫米等級,而Kinect使用的3D動態數據又可搭配強大的XBox 360即時擷取建構參考數據資料,達到強化3D感測精密度的設計目標。有趣的是,Kinect為使感測範圍更寬,系統較PrimeSensor提供的參考設計追加了伺服追焦系統,也就是即便使用者在有限範圍內跑來跑去,Kinect仍可依據video-tracking感測結果,動態控制Kinect底座的電子伺服機械結構,進行追逐被攝主角的感測動作。