打造完美整合的台灣智慧眼鏡開放平台 智慧應用 影音
hotspot
hotspot

打造完美整合的台灣智慧眼鏡開放平台

在經濟部技術處支持下,資策會智通所與佐臻(股)公司舉辦「智慧頭戴裝置-醫療與文創應用國際高峰論壇」,資策會何寶中副執行長受邀致詞。
在經濟部技術處支持下,資策會智通所與佐臻(股)公司舉辦「智慧頭戴裝置-醫療與文創應用國際高峰論壇」,資策會何寶中副執行長受邀致詞。

為凝聚台灣智慧眼鏡產業發展上的相關產業、尖端人才、先進技術與創新應用,進而發揮加乘與昇華的效益,在經濟部技術處的支持下,資策會與佐臻(股)公司於10月13日,假張榮發基金會國際會議中心,共同舉辦「虛實互動智慧呈現-智慧頭戴裝置醫療與文創應用國際高峰論壇」,邀請來自國內外各種領域之一流智慧眼鏡專家分享最新相關技術、方案與實際應用案例。與會嘉賓並在盛會中一同見證「台灣智慧眼鏡研發聯盟」開放平台成立以來的成果,同時主辦單位並介紹智慧頭戴裝置產品與應用創新競賽的舉辦宗旨與訊息。

台灣及大陸兩大智慧眼鏡聯盟積極交流  創智慧眼鏡新局

佐臻(股)公司開發之智慧頭戴裝置,目前已應用於日本某些水域之安全點檢。

佐臻(股)公司開發之智慧頭戴裝置,目前已應用於日本某些水域之安全點檢。

佐臻(股)公司梁文隆董事長蒞臨致詞。

佐臻(股)公司梁文隆董事長蒞臨致詞。

資策會智通所與Skywatch(行品股份有限公司)合作,基於Skywatch之雲端監控系統,開發出智慧眼鏡遠端協同工作系統 (Telementoring/Telemedicine);圖為緊急救難人員(左圖右一)與醫療團隊(右圖)透過穿戴裝置遠端作業之應用情境。

資策會智通所與Skywatch(行品股份有限公司)合作,基於Skywatch之雲端監控系統,開發出智慧眼鏡遠端協同工作系統 (Telementoring/Telemedicine);圖為緊急救難人員(左圖右一)與醫療團隊(右圖)透過穿戴裝置遠端作業之應用情境。

資策會何寶中副執行長致歡迎詞時指出,兩年多前Google Glass開啟了智慧眼鏡1.0時代,全球掀起一股前所未有的智慧眼鏡與智慧穿戴風潮,如今智慧眼鏡的發展正全面邁向2.0時代,並促使各垂直領域客製化及個性化應用的遍地開花,今後智慧眼鏡2.0時代裡,台灣產業將扮演更積極、更舉足輕重的關鍵角色。

佐臻公司董事長梁文隆則表示,佐臻公司長期致力於系統級封裝(System in Package;SiP)模組開發與系統模組化概念的推展。本次盛會的舉辦,希望智慧眼鏡不僅有硬體上的開發,更重要的是能有行業上的應用,並藉此促使軟硬體應用的相互整合。

資策會智通所鄭育鎔副主任提到,台灣智慧眼鏡研發聯盟的成立,旨在打造一個從晶片/關鍵元件、系統、中介軟體系、應用服務到場域的完整生態系統,藉由完備關鍵零組件、準系統,到品牌產品、應用服務,再到整體解決方案之台灣智慧頭戴產業鏈的建立,進而擁有進軍國際市場的動能。

佐臻黃呈章總經理表示,為鼓勵智慧頭戴裝置軟硬體設計與自主發展,特舉辦專門針對學生、研究機構、創客及公司研發單位的智慧頭戴裝置產品與應用創新競賽。參賽者必須運用智慧眼鏡研發聯盟的開放平台,開發設計出符合創新性、可行性、實用性及商業潛力等評比標準的新產品或服務。比賽成果將於2016年3月下旬的智慧頭戴裝置暨生產力4.0國際高峰論壇上發表,比賽冠軍並能獲得獎金10萬元以及商品化輔導。

會中除了台灣智慧眼鏡研發聯盟的介紹外,並且有來自中國智能眼鏡產業聯盟(SGIA)對於中國市場智慧眼鏡的應用發展與實例進行介紹。在大陸最高學術研究機構中國科學院的引領下,2014年5月8日正式成立中國智能眼鏡產業聯盟,並以打造屬於大陸人的智能眼鏡為宗旨。該聯盟運作至今,除諸多跨界資源的整外,已有許多實際落地的試點項目進行中。

中國智能眼鏡產業聯盟市場戰略部部長李傳勍表示,該聯盟於去年9月25日推出基於佐臻智能眼鏡模組化解決方案,而針對大陸開發的智能眼鏡整機解決方案,同時並在上海家嘉定區成立智能眼鏡產業基地。在策略思維上,該聯盟首重跨界整合,亦即跨界企業、資源、人才、技術,以及更重要資本加以整合,進而讓想法變做法,並讓好的做法成為長久的事業。

李傳勍並強調,所有創新必須來自人性,而智慧眼鏡就是符合人性需求的產品與趨勢,因為其可解放我們的雙手,進而能從事更多創造性的工作。目前該聯盟緊鑼密鼓地推展許多應用實例,包括幼兒教科書的全面AR/VR化、北京故宮智慧眼鏡導覽,以及與中國央視合作影視技術體驗館專案,包括多視角影像交互、傳感器交互整合與空拍機影像整合與同步等。

智慧眼鏡應用在博物館導覽上也成為全球趨勢,除了前述北京故宮的案例外,品臻聯合系統並與亞洲大學現代美術館展開智慧眼鏡導覽應用的合作。

品臻聯合系統張國祥董事長表示,品臻公司繼2015年6月於中國國家博物館創新推動以智慧眼鏡藝術導覽之後,緊接將於10月下旬與亞洲大學合作,在該校現代美術館推行智慧眼鏡藝術導覽服務。本次活動除再次與聯想集團、雲視智通、Epson及佐臻共同參與外,並整合擴增實境、室內導航、雲端資料庫、大數據及CRM等技術方案,並採用資策會所開發並推動的智慧眼鏡導覽2.0技術。

亞洲大學現代美術館李梅齡館長表示,該校亞洲現代美術館是由安藤忠雄設計之台日團隊歷經6年完成的合作結晶。整棟建物以三個交錯疊置的三角形所構成的三層樓建築,是震撼台灣建築與營造界的指標性地標。

本次導覽所採用的資策會智慧眼鏡導覽2.0技術具備許多特色,包括第一人稱視角導覽、無需手動操作之「看向何處便導覽至何處」機制、情境感測融合、零操作及零學習的科技導覽,以及豐富的互動應用加值功能。

穿戴式顯示技術、引擎模組與眼球追蹤技術新趨勢

本次盛會並邀請到國際知名的智慧眼鏡零組件與相關技術領導廠商,其中,Vuzix是穿戴式顯示技術的領導供應商;Intel則是物聯網與穿戴式技術引擎模組巨擘;至於Tobii則以穿戴式眼球追蹤技術獨步全球。

ABI Research的研究預測指出,2018年穿戴式運算裝置的年裝置出貨量將成長至4.85億美元,其中穿戴式顯示或智慧眼鏡出貨量超過7,500萬美元,市場總值超過150億美元。勤業眾信預測,企業穿戴式市場將會超越消費性市場。換言之,比起消費者,企業會成為市場首先採用者,因為對企業而言,智慧眼鏡解放雙手能帶來驚人的生產力。

Vuzix公司總裁暨執行長Paul Travers持肯定態度地指出,數以百萬計的現場服務(Field Service)、倉儲、維護及其他企業使用者將能從智慧眼鏡解決方案享受到於解放雙手的效益,尤其當前包括工業、倉儲、離岸重型設備操作、醫療應用、汽車、航空與客服出現許多智慧眼鏡與擴增實境的應用需求及案例,因為其可滿足即時、免手動、隨時存取資訊、圖像擷取與讀取掃描代碼等需求。

目前Vuzix公司有許多採用其產品的應用實例,包括DHL、RICOH與Ubimax透過智慧眼鏡的視覺化貨物篩檢機制,比起先前撿貨機制面對2萬4千個零組件的撿貨作業,提升效率達25%。另外,Airbus及Accenture用於最終組裝的應用,發揮了讓標記作業更精準、錯誤率降至零與新手能在短暫訓練後可靠上手的效益。

美商英特爾亞太區產品行銷開發經理張沛哲表示,Intel 30年來一直致力於讓物聯網成行,並致力提供可以促使人們創造、了解並控制互連世界的最新裝置技術與介面,更開啟了包括電信巨頭AT&T、美國尚設計師協會(CFDA)、Barneys New York精品連續百貨業者、Opening Ceremony時尚零售業者及Oakley運動精品等業者共同組成的全新全球生態系統。

如今商用穿戴式及智慧眼鏡在工業、遠端協作、健康照護、客服及製造業等垂直領域擁有無限前景。其中智慧眼鏡可細分成為擴增實境智慧眼鏡、增強型擴增實境、智慧型手機虛擬實境、專用型虛擬實境等子類型。

Intel並推出次世代穿戴式技術引擎Curie Module,該模組配備Intel Quark整合晶片、低功耗藍牙、動作感測器、內建充電電池,是專為社交媒體、運動與健身等活動之持續在線應用的理想方案。進一步而言,Intel Curie Module的目標裝置類型包括消費性健身、智慧型貼布、遊戲手勢控制、低功耗消費性物聯網應用、流行時尚用品等。

研究眼球追蹤技術多年的Tobii資深工程負責人Jonas Andersson指出,眼睛視覺最清晰的地方在於黃斑部中心處的中央窩(Fovea),其清晰區域亦即中央窩區域,亦即人類眼球凝視點之所在。而人類之所以需要移動眼球的原因有3個:將有興趣的資訊放在中央窩區域、在物體或頭部移動時保持視網膜影像的穩定度,以及防止靜止物體的感知消退。

Tobii並將自家Glasses2智慧眼鏡用於外科醫師的培訓上,並藉由校準及驗證工具,而將眼球追蹤用於眼疾及閱讀障礙之篩檢上。Tobii成功銷售穿戴式科技已有5年光景,如今Tobii智慧眼鏡主要應用在市場研究、可用性模擬測試、學術研究、知識傳輸及效能分析等應用上。

目前Tobii積極開闢包括遊戲、運算、醫療、汽車及擴增/虛擬實境等全新以量取勝的低階市場商機。目前針對擴增實境的眼球追蹤使用案例,主要包括眼球指示之使用介面、互動式協助、眼球指示之協作等方面。

協助資料蒐集並提升操作體驗的感測與語音識別技術

在物聯網與穿戴式產品及應用中,感測技術與語音識別技術也都分別在資料蒐集與操控介面上扮演重要的作用及角色。盛會中Honeywell資深總監David Downey表示,Honeywell旗下感測及生產力解決方案(S&PS),即為專門運用自家高效能資料蒐集硬體來打造客製化訂製感測器、交換器、控制器與生產力解決方案的市場領導品牌。

Honeywell今後發展定位會從溫度、時間、位置等訊息感測,逐步向上朝區域及連線蒐集,乃至雲端、本地端及外部儲存,而進一步提供資料、流程與環境上的分析,最終並將可行的洞見提供給客戶。根據研究指出,2020年全球連網裝置數量將上看500億台,亦即連網裝置數達到人口數的1.5倍之多,並在物聯網上產生與分享高達40YB的有效資料。

Downey強調指出,沒有感測器就沒有物聯網,Honeywell擁有非常廣泛的感測器產品組合,包括板固定/不鏽鋼壓力感測器、力量感測器、氣流感測器、溫度感測器、濕度感測器、定位感測器及機電感測器等,該公司並不斷尋求全新創新性感測技術。

Advanced Media(AMI)是日本語音識別技術與解決方案的頂尖品牌商。Advanced Media行政主管本田正樹指出,身為亞太區市場領導者的AMI提供包含醫療、電腦電話整合、會議紀錄、行動、教育、物流與汽車導航等全系列語音識別產品組合方案。目前該公司語音識別技術最主要成功案例聚焦在健康照護領域,其中包括醫療門診之電子病歷,大學附設醫院之放射照相整合報告、藥房病人用藥史等成功案例上。

本田正樹總結提到,該公司最大的熱情與使命就是打造結合智慧健康照護服務的智慧社會。因為他們擁有真實針對健康照護領域的語音識別技術,同時擁有歷經驗證的成功案例與效益,因而能為語音識別結合醫療IT系統、巨量資料及智慧眼鏡的發展帶來無窮的潛力。

意法半導體技術行銷暨應用軟體經理Neil Chuang分析指出,穿戴式可說是第一波的物聯網潮流,穿戴式裝置之所以能在市場上起飛興起的原因不外,其能解決現有需求,並可建立在智慧型手機的個人基礎架構上。再者其基於現有連接標準,積極的企業家看見了比複雜消費性電子裝置更低的進入門檻,同時大量可用的微型零組件促使端點裝置能有合理的成本與尺寸。

健身、健康照護、智慧家庭、智慧辦公、智慧城市、智慧汽車及智慧工業等豐富多樣的應用層面,以及智慧、低功耗、連接性、可管理性及安全等不同需求,等同為未來數以兆計的感測器發展造好了橋、舖好了路。

Neil強調指出,意法半導體可說是當前唯一能提供全面多樣化類型之感測器與微致動器的公司,包括出貨量已超過55億個,並配備業界領先超低能耗6軸感測器的動作微機電系統、針對醫療應用的姿勢感測器,以及微機電麥克風與BlueVoice+。其中聚焦高效能之微機電麥克風,其出貨量已超過5億支,市佔率也從2012年不到2%,成長到2014年的10%。至於專門針對語音識別的BlueVoice+,則成功在音訊擷取模組中實施微陣列波束技術。

智慧眼鏡相關應用與醫療產業的一拍即合

醫療產業可說已經成為全球智慧眼鏡推行最積極之一的應用重鎮,透過虛擬實境、擴增實境與混合實境等技術的整合,智慧眼鏡與醫療產業發揮無與倫比一拍即合的完美成效,也為智慧眼鏡的發展注入源源不絕的活水。

張國祥強調指出,自品臻成立以來,除智慧導覽、智慧物流、消防/公安、遠距教學等領域外,便積極在在智慧醫療領域上推動智慧眼鏡專案。其中包括與基隆長庚醫院、佐臻及基隆市消防局合作導入智慧眼鏡及其相關技術於緊急行動醫療,包括行動急診室、整合病患生命徵象與危急值的即時傳遞及應用,以及急診緊急救護護理紀錄資訊模組的研發與應用。

基隆長庚醫院一般外科主任黃挺碩醫師指出,智慧城市論壇(ICF)組織主席John Jung曾盛讚新北市所開創的行動急診室,是國際智慧城市在緊急救護服務發展中的典範。如今與品臻合作展開之智慧眼鏡輔助式緊急行動醫療服務專案似乎更勝一籌,因為比起新北市,長庚醫院透過智慧眼鏡能以第一視角來傳送病患情況,同時急診後台可透過擴增實境進行互動式線上指導與即時派遣,並可運用雲端科技將到院前後資料與電子病歷做串聯整合。

中正大學電機工程學系助理教授王民良可說是專門整合混合實境(MR)與穿戴式技術於整型外科等醫療領域之應用先驅。王民良表示,該院長期投入的重點在於,如何運用MR技術而能在病人身體等實際物體上投射虛擬物件,或在智慧眼鏡上準確接收病人血管或骨頭等資訊,以協助醫師在手術過程中不需抬頭觀看其他螢幕,就能接受充分即時又有用的影像或資訊,以利手術的順利執行。

該校在21個臨床案例中累積寶貴經驗並進行改善,手術中,除了將正確的病人資料,即時傳送到手術醫術配戴的智慧眼鏡上之外,如何將血管等資料投影到正確位置上,才是關鍵所在,透過MR技術便能解決此一問題。該校是全球少數能透過幾何運算開發不同模型的先驅者,目前共開發三、四十個不同模型。

接下來將焦點放到上海醫微訊公司,該公司透過中國第一例外科手術網路線上示範轉播,開啟了智慧眼鏡於醫療行業的應用之旅。上海醫微訊執行長潘耿表示,過程中遇到許多問題,除了網路視訊轉播只能在Google Plus伺服器上實現外,並遇到無線傳輸、畫質及觀看載體等問題,所幸隨後一一克服解決。

2014年7月於該公司第一次成功在上海第九人民醫院血管外科透過Google Glass進行線上示範轉播。但過程中出現Google Glass攝影機視角中心有偏差狀況、無影燈下手術操作區域發生畫面過曝現象,以及手術無法變放大視野。隨後該公司透過添加術者觀景窗、新增強光模式與4倍數位變焦功能來解決。

本次手術經媒體報導引起廣大迴響,共計全國各地約有100位學員遠端觀摩手術。接下來該公司陸續實現第一次嘗試異地千人大會上實施轉播、首次分屏內容轉播、首次超長泌尿外科手術轉播、首次應用於遠程查房等創舉。累積雄厚經驗的潘耿建議指出,醫療專用智慧眼鏡必須依照不同人員定義不同款式功能的眼鏡,醫生在乎功能而非外觀,軟體開發上要點不外視訊傳輸品質、語音及AR識別的準確度等。

目前成大有許多由不同研究所教授負責的穿戴式顯示裝置醫學應用計畫,其中包括電通所負責建立穿戴式顯示裝置於醫學應用之系統架構子計畫及開發嵌入式雙核心平台系統整合等子計畫,以及資工所負責開發才機指手術行動教學系統子計畫,另外,機工系則有率領研究人員結合現有穿戴式顯示器在正顎手術計畫的重點資料篩檢、系統度驗證等工作的子計畫。

成大醫學院整形外科教授李經維醫師指出,當前穿戴式醫用程式系統架構大致包括運用於智慧眼鏡之醫用App、後端系統資料庫查詢機制,以及透過Wi-Fi介面及TCP/IP協定連結以上兩者之訊息傳輸通道。其中醫用App是透過鉅景科技及佐臻公司提的兩組智慧眼鏡進行Android APK開發環境建立、智慧眼鏡外掛發展函式庫,以及使用者介面設計與開發。

展望未來,李經維期望會在外科醫師視野前顯示放射影像與外科示意圖,其次是圖像引導手術規劃。再者,實際主題影像與虛擬影像資料的混合,則被視為是最終目標。