智慧應用 影音
華邦電子股份有限公司
event

NVIDIA用GAN改善視訊 頻寬少10倍

NVIDIA於日前宣布成立新平台Maxine,以人工智慧(AI)強化視訊會議軟體的功能。Maxine使用神經網路建立臉部壓縮影像,到下個步驟再使用第二組神經網路重建原始影像。

 點擊圖片放大觀看

Maxine以GAN提取臉部特徵數據點,生成高品質影像。NVIDIA

據Ars Technica報導,Maxine應用的深度學習技術為生成對抗網路(GAN),由兩組網路先後生成圖像數據和鑑別圖像真實性。

隨著GAN自我訓練,生成圖像品質愈高,鑑別的複雜度也就必須提高,也因此訓練的結果就是圖像愈看愈逼真,甚至能做出不存在的人的照片。

報導指出,NVIDIA對該技術進行些許修改。Maxine並非擷取整個視訊,而是從影像來源提取一組對應眼眉、嘴巴、鼻子等臉部特徵的數據點。

因此,相比傳統影像壓縮技術,Maxine可以將視訊會議軟體的頻寬需求減少10倍,並且校正臉部偏移的情況,讓使用者在畫面中看起來更端正,還能打造動畫化身代替真實臉孔。

NVIDIA也曾在2019年提到,改良後的技術無需為每位用戶訓練新的網路,而是預先訓練好適用每個人的生成網路。相比從頭訓練的新網路,所需運算能力會低很多。

此外,Maxine是軟體開發套件,而非消費產品。NVIDIA希望第三方開發人員使用Maxine改進自家視頻會議軟體。

Maxine還有一項重要的限制,視訊傳輸設備需配備NVIDIA Tensor Core GPU。若沒有適當的顯示卡,NVIDIA則建議在雲端伺服器生成視訊幀,事後將渲染完成的視訊傳輸到客戶端,但此舉無法保證理想的效果。

目前Maxine處於開發初步階段,提供一些開發人員存取權限,幫助NVIDIA完善Maxine的應用程式介面(API)。

報導認為,NVIDIA不太可能壟斷諸如此類的視訊會議技術。雖然其他主要科技業者尚未宣布使用GAN改善視訊會議的計畫,但Google、蘋果(Apple)和高通(Qualcomm)都致力於開發更強大的晶片來支持智慧型手機上的機器學習。

無論Maxine在市場上表現如何,以神經網路達到頻寬需求更低、畫質更高的視訊傳輸,或許會成為非常重要的概念。

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: NVIDIA