Pixel手機相機技術大解密

近年來手機相機的發展趨勢，不僅在數量上快速成長，在軟硬體設計上也不斷優化，目前全世界有數十億支手機相機，其數量仍在快速成長中。擁有更佳的畫素、鏡頭和更大的光圈、多相機鏡頭成為發展趨勢。

日前邀請到Google傑出工程師Marc Levoy，來說明Pixel手機到底應用了哪些技術，讓單鏡頭手機就能達到出色的HDR+、具備景深的人像模式、高解析變焦以及夜視模式。

HDR的典型作法是捕捉不同曝光程度的影像，將從曝光時間短的影像所捕捉的亮處細節，與從曝光時間長的影像所捕捉到的暗處細節結合，呈現出最終的影像。在Google Pixel手機相機應用中的HDR+，則是捕捉曝光不足下的連拍影像：透過捕捉在相同曝光程度下的連拍影像，並且避免亮處過度曝光；在相同曝光程度下的連拍影像，由於影像相似因此更容易校準，減少陰影處的雜訊及採用色調反映增強陰影，降低亮處：犧牲整體色調和對比度，以保留局部對比度。

Google Pixel 2肖像模式優秀的相機表現，獲得2017年DXO評分最高的智慧型手機，也獲得DPReview Awards Innovation of the Year年度創新獎的肯定。

Google Pixel 2 與Pixel 3手機在僅有單一個後置鏡頭的條件下，透過以下兩項技術達到景深的效果：利用機器學習技術分割影像中的人物，當使用Pixel手機自拍時，前置鏡頭雖無搭載「雙畫素 (Dual-pixels)」科技，但仍可透過機器學習執行肖像模式及運用相機中的硬體技術「雙畫素(Dual pixels)」預估深度圖(Depth Map)，當使用Pixel手機對一般物件進行拍攝時，因物件非人物，故無法使用機器學習的方式，但仍可透過擁有「雙畫素」的後置鏡頭技術完成。

Pixel 3手機相機肖像模式的優化：Google進一步訓練機器學習藉由輸入RGB顏色、左和右，就能得到深度圖，取代在立體空間中搜尋、計算每一個二分之一畫素中影像呈現是來自現實世界中的左半部或右半部。Google運用特殊的相機裝置，拍攝成千上萬的的照片，透過機器學習中的Ground Truth來訓練Dual-pixels更好產生深度圖(Depth Map)。

Google在Pixel 3手機相機中推出高解析變焦功能，雖然此功能背後並無搭載人工智慧及機器學習技術，但它可將多層影像合成為更高畫素的照片，不僅提升照片細節的呈現之外，解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。

以軟體定義為主的相機、導入機器學習，運用機器學習技術取代傳統的演算法，且在訓練機器學習的過程中獲得許多訓練用的數據，有助提升執行的準確度。以及更公開的科技與技術都是未來手機相機系統的發展趨勢。以Google為例，Google具備軟體和機器學習的優勢，而在發展手機相機技術的過程中，不斷公開對外分享技術成果，不僅有助於驅動更快速的創新，也吸引更多博士新秀加入Google AI研究團隊。