智慧應用 影音
鄧白氏
event

微軟攜手伊雲谷、北醫 開發HoloLense2脊椎內視鏡手術方案

微軟攜手伊雲谷、北醫等單位,透過HoloLense 2開發脊椎內視鏡手術解決方案。微軟

微軟攜手伊雲谷與北醫透過HoloLense 2進行遠距脊椎手術影像導引及臨床教學。伊雲谷協助開發醫療資料去識別化模組用於雲端資料庫人工智慧訓練,並應用HoloLens 2混合實境結合人工智慧辨識及擬真教學建立手術訓練方案,解決脊椎內視鏡手術學習曲線陡峭之困難。

台北醫學大學附設醫院骨科部脊椎骨科吳孟晃主任正致力於研發在脊椎內視鏡手術中應用HoloLens 2混合實境技術之臨床教學指導方案,期為臨床醫學應用帶來新的啟發。

微軟指出,COVID-19(新冠肺炎)疫情流行後,醫院手術前需要做COVID-19篩檢,加上民眾普遍擔憂染疫風險,進而造成部分非急迫性的住院手術與門診手術相繼取消,外科相關教學也受其影響。面臨這樣的時事限制,HoloLens 2的混合實境技術給臨床醫學的應用帶來新的啟發。

吳孟晃表示,2013年時這樣的技術在脊椎手術領域中已開始應用於手術影像導引及臨床教學,現在也有臨床相關產品可用於脊椎椎釘放置,然而對於目前發展最迅速的脊椎內視鏡手術,仍未見該創新技術用於臨床應用。

吳孟晃2019年提出利用創新科技於脊椎內視鏡手術教學指導的構想,並與矽谷工程師討論,開啟混合實境於脊椎內視鏡手術的應用研發,結合人工智慧手術規劃及擬真手術訓練模組,期能發展出能幫助患者更安全有效、快速復原的智慧超微創脊椎內視鏡手術。

透過HoloLens 2與人工智慧結合,吳孟晃希望能夠邁入新階段,因此他積極向微軟取經,並與慧術科技執行長李宇捷進行合作,讓臨床醫師的需求,在透過資訊工程師的技術轉化後,能制定策略與國際人工智慧醫療產業接軌,最終期望能實現商品化。

相關構想後於北醫大SPARK計畫中成形,並進一步向工研院量測技術發展中心及台灣微軟提案,主要內容為配合脊椎病患就醫歷程來進行全方位智慧內視鏡手術解決方案,初期會與伊雲谷開發醫療資料去識別化模組,用於雲端資料庫人工智慧訓練。

其中關鍵是HoloLens 2作為醫師與儀器交流最重要互動平台,作為符合臨床需求教學及臨床工具,混合實境影像資料需要用到人工智慧協助醫學影像做深度學習的影像辨識,影像分割完成後,還需降低噪音處理,如此才能在臨床上提供正確清楚的資訊,以利醫師判斷病情。

吳孟晃指出,現有醫療設備實際運用在手術進行時,往往使用各自獨立之螢幕,使得治療所需資訊分散於醫療場域中不同位置,在缺乏整合性的影響下,醫療資訊、醫療影像、手術導航指引、及病患手術視野無法結合於同一視角,進而造成手術醫師無法準確辨認手術實際狀況。

台灣微軟首席營運長陳慧蓉表示,結合不同的醫療器材專長公司的應用,以HoloLens 2為平台,針對特定手術做混合實境的產品優化。對於外科醫師來說,手術過程中不必抬頭看各種屏幕,所有需要的影像與資訊,都同時出現在執刀醫師視野中。遠端專家也可監測患者的重要體徵,並準確查看執刀外科醫師實時所看到的內容。

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: MR 微軟 智慧醫療 AI 伊雲谷 內視鏡手術