Synnex
活動+
 

促進動畫角色臉部辨識演算法研究 愛奇藝提出無限制的大型資料集

愛奇藝研究團隊提出全球首創的無限制動畫角色臉部大型資料集。愛奇藝

動畫角色辨識(cartoon person recognition)有廣告、”just look him”、提供創意素材等豐富商業應用情境,愛奇藝的研究團隊提出全球首個創新、無限制(unconstrained)的動畫角色臉部大型資料集(dataset) iCartoonFace,可促進相關機器學習(machine learning)演算法的發展。

根據Synced報導,對動畫的喜愛是跨年齡、種族、性別的全球現象,而數位媒體指數性成長創造的龐大市場更是動畫產業發展的超強動力。SimilarWeb的流量分析顯示美國動畫串流網站Crunchyroll每月吸引約8,000萬名訪客,在全球串流網站排名第十五,約是同類型領導網站YouTube流量的60%。

日本每年平均推出300多部動畫製作,GlobeNewswire、Watson、日本動畫協會(AJA)的調查報告顯示,2018年全球動畫市場規模高達2,590億美元,到2020年更將成長至2,700億美元,主要市場包括英國、加拿大、中國大陸、法國、德國、日本、南韓、美國,動畫產業多數區塊的成長年增率都達到5%。

目前人臉辨識領域有許多可公開取得的大型臉部資料集,限制情況(constrained situation)與無限制情況(unconstrained situation)的資料集都有,身分數量從數百至數十萬,樣本數量從數萬至數百萬,對人臉辨識研究、演算法發展與評估極有助益,LFW與MegaFace等部分資料集還提供演算法的評估協定與排名順序。

例如ArcFace臉部辨識演算法以LFW的標竿測試進行評估,準確性可達99.83%超越人類的表現,以MegaFace的標竿測試評估,表現最好的演算法也可達到99.39%的準確性。動畫產業亟需高度準確的動畫角色辨識演算法,然而高品質、實際取材自動畫影片的大型資料集卻非常缺乏,且沒有相應的演算法表現評估標準,以至於相關演算法的發展極為受限。

中國大陸視訊串流(video streaming)服務巨擘愛奇藝的研究團隊發表的論文”iCartoonFace: A Benchmark of Cartoon Person Recognition”,提出動畫角色臉部大型資料集iCartoonFace,可應用於辨識研究、動畫角色塑造、影像分類(image classification),除開放外界使用外,下一步還將探索特徵融合(feature fusion)等高度有效的資料集融合方法的潛力。

iCartoonFace資料集內含2,639個動畫角色的68,312張影像,這些樣本都是擷取自網際網路的公開影像與愛奇藝網站的線上動畫串流視訊。愛奇藝的研究團隊先運用演算法偵測與移除重複的影像,接著進行影像叢集(image cluster)潔淨(clean)作業,運用研究團隊開發的影像註解(annotation)系統,以人工為每一張影像建立初始識別(initial identity)標籤。

由於iCartoonFace中的影像都有建立標籤且提供評估演算法的標準,因此很適合做為動畫角色臉部辨識演算法的標竿測試資料集。深度學習(deep learning)演算法應用在影像分類與臉部辨識可達到近乎完美的結果,愛奇藝研究團隊便以iCartoonFace資料集評估SOTA(state of the art)影像分類與臉部辨識演算法的結果,作為衡量動畫角色臉部辨識演算法的基線。

此外愛奇藝研究團隊提出1個運用臉部特徵、融合人臉資料集與動畫角色資料集來改善動畫角色臉部辨識表現的方法,實測結果顯示人類的表現遠優於基線模型,但研究團隊提出的資料集融合方法,則可有效提升基線模型的表現達2%,由此可見以SOTA影像分類與臉部辨識演算法在處理無限制的動畫角色辨識上,還有很大的進步空間。

百度旗下的愛奇藝2018年在美國公開上市,為滿足中國大陸民眾對動畫文化的風靡,愛奇藝鉅額投資取得外國動畫電視節目的播映權,並發展本國的動畫製作,目前已是中國大陸最大的動畫收看平台之一。愛奇藝自我定位為技術驅動平台,人工智慧(AI)的建置貫穿其內容創建、製作、流通、客戶體驗等商業流程。


  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: 愛奇藝 電腦動畫 動畫