智慧應用 影音
台灣亞馬遜網路服務有限公司
event

流程革新!劃時代的虛擬協作平台登場 NVIDIA全球開發負責人暨Omniverse部門總經理專訪

【本文由映CG授權轉載】

Richard Kerris為NVIDIA全球開發負責人暨Omniverse部門總經理。負責帶領團隊與各開發商合作。同時也負責維護初期協助測試Omniverse的客戶。此外,也負責Omniverse平台的商業發展策略,不論是NVIDIA的產品線,或是企業客戶,只要使用到Omniverse,皆為Richard與團隊負責的項目。映CG這次很榮幸在COMPUTEX 2021展開前夕,與Richard一同聊聊虛擬協作平台Omniverse將如何為全球各大產業的工作流程帶來全新變革。

Richard Kerris曾任職於Apple、Lucasfilm以及Amazon/AWS。其豐富的技術研發經驗、IT能力與熟稔市場狀況,讓他在產品行銷與研發上無往不利,擅長將創新思維轉化成實際事物。同時也是Visual Effects Society的成員之一。

Richard Kerris,NVIDIA全球開發負責人暨Omniverse部門總經理。曾任職於Apple、Lucasfilm以及Amazon/AWS。其豐富的技術研發經驗、IT能力與熟稔市場狀況,讓他在產品行銷與研發上無往不利,擅長將創新思維轉化成實際事物。同時也是Visual Effects Society的成員之一。Facebook擷圖

問:Omniverse早在前幾年就已經有消息了,但對大多數的產業使用者來說,還是相對新穎的技術,可與我們簡單解釋一下什麼是Omniverse嗎?

答:是的,我們在幾年前就已經帶出Omniverse。因為它對於目前創作者的作業方式是很重大的轉變,它將解決眾多使用3D的產業所面臨的問題,像是如何跨越不同地點、跨軟體程式開發,以及如何在即時的環境下模擬跟工作。對於建築視覺化、產品設計、遊戲開發、電影製作,或汽車製造的專家而言,總是會遇到許多不同的3D工具,你必須去了解如何在不同的工具之間做溝通,如何匯入匯出檔案等等。

同樣的,很多團隊分散在世界各地。據我們所知,過去一年這個狀況更加明顯。雖然問題已經被顯露多年,但它其實是建立在產業面臨的挑戰堆積而成的軌跡上。過程中有幾個重大轉折加快了Omniverse的誕生。首先是,USD(Universal scene description) 的格式的出現,它不僅僅是個檔案格式,更像是包含整個3D場景的檔案。USD原先是由皮克斯所開發,但現在已被許多產業所應用。我們其實是在研發一個可協同工作的環境在此之前,我們曾推出的定點式的Holodeck VR協作計畫。在那時候我們決定將USD作為Omniverse的基底。這項決策的重點在於能讓我們以不同的軟體作業,同時以統一的方式進行溝通。另一個革命性的改變是RTX技術。RTX將即時光線追蹤技術帶到這個世界,一件人們預期還要很長一段時間才會實現的技術,NVIDIA花費多年的努力來達成。現在RTX突破性的發展讓你能夠在即時光線追蹤環境下互動,不論是在你的筆電或是伺服器,或是與兩人以上的團隊進行協作,這些都是讓Omniverse 如此獨特的關鍵因素!

對各種產業來說,運用3D進行設計、模擬已是必備的工作流程。NVIDIA

問:你所提到的USD 檔案格式,它目前在使用上有著什麼樣的限制嗎?

答:這會依據產業端如何使用它,當初皮克斯開發USD之後,你可以想像很多娛樂內容製作產業的人們可以毫無障礙地使用,這也是為什麼USD能夠融入許多軟體當中的原因。例如製造業,對模型表面進行有限元素分析等等,都是工作流程中不可或缺的,雖然它仍然有些地方需要改善,但都在進行中。實際上我們正在將這個技術引導到全世界。逐漸看到所有不同要素集結在一起,因此可以將它稱作3D世界的HTML語法–一個可以讓大家溝通的共通語言。

USD可比擬為3D虛擬世界的“HTML”語言。NVIDIA

問:所以USD和其它常見的檔案格式,例如FBX又有什麼樣的差異呢?

答:FBX是一個檔案格式,而USD則是所有相關元件的整合。我們可以將各種檔案格式讀取進Omniverse中,我們可以讀入FBX檔,也可以載入Alembic檔案等等。但是FBX或是其他的檔案格式,雖然詳細描述了一項3D元素,但它們可能沒有燈光、陰影及材質等等的資料。但是USD可以將3D環境中的元件打包成一個包裹。所以,FBX的本質是一個檔案格式,而USD就是檔案格式存在的那個世界。

問:所以USD也不太像是一個專案檔的概念,對嗎?

答:不只是這樣。一個專案檔案會以工作流程的角度呈現,但是USD給你的是整個世界。就像是先前HTML的比喻,當全球資訊網路(World Wide Web)開始後,很多事情都在發生,但同時也有很多事情沒有如預期發生,直到HTML的出現,大家才有一種統一的方式來做事。以Google文件為例,作為一種共同的方式來將文件處理橫跨多個網站,因為所有事物都是以HTML為基底,所以我們就能一起合作處理文件。而Omniverse所呈現的也就是這樣的核心概念。不止是一個可以轉換檔案或是資料的方式,而是一個完整的套組。

問:回到你今年COMPUTEX大會帶來的主題「Metaverse 虛擬空間誕生–NVIDIA Omniverse和共享世界的未來」,你對於「Metaverse」的定義是什麼呢?

答:我們常常被問這個問題,整個產業也常被問到。什麼是 Metaverse?Metaverse一詞源自於作家尼爾史蒂文森(Neal Stephenson)在著作《雪崩》( Snow Crash )的科幻小說。而其中牽涉了一個想法—有天虛擬世界將會存在,人們將能夠如我們所見,在那虛擬世界裡面做著各種事情,不論玩遊戲、創建專案等等。但是這些世界需要有一個共同的方式,來呈現各種體驗,例如地心引力、光源等等。因此Metaverse就是這些虛擬世界的集合,而Omniverse就是連接這些世界的方式。

Omniverse在虛擬世界中,將扮演實體和虛擬之間人事物的連結橋樑。NVIDIA

問:你在2008年接受過VARIETY的專訪,談到當時在娛樂產業中的下個大事件,將不是著重在產品上,而是工作流程,那Omniverse對你來說,會是近代到未來的一個終極工作流程嗎?

答:沒錯,那時候我還是盧卡斯影業的首席技術長,當時面對的挑戰,一直到現在我們依舊碰到,也並試著透過Omniverse來解決。當時的挑戰是公司團隊遍佈世界各地,有的在新加坡,有的在加州,我們同時又和在倫敦跟布拉格的公司合作。因此,如何一起工作、一起合作就是一大挑戰了,我們開始專注在如何擁有一個共同的工作流程。當時與Sony Pictures Imageworks合作一部電影,我們共同開發了出Alembic開放式的3D檔案格式,回想起來這有點像是邁向Omniverse的第一步。在當時,要創造協同工作流程可說是最重要的任務。所以當我們看著現在所研發的事物時,會發現它確實是當時的延續。這其實是我們長久以來一直有的難題,而現在我們開始看到Omniverse會是這個難題的解決方案。

問:如你所說的,特效公司早在Omniverse出現前,就與全球各地的創作公司合作,那Omniverse的出現,主要會解決了哪些問題?

答:多年來我們總有橫跨不同地點一起工作的方法。但最頭痛的地方在於雙方得將所有專案檔案放在雲端硬碟,讓其他團隊下載下來,完成工作後,再把檔案重新上傳上去,然後另一個團隊再下載下來。這其實不是協同合作的精神,也沒有即時協作的連貫性,這種作法在我們以前是稱作「Sneakernet」。也就是將檔案放進硬碟裡面,然後把硬碟拔起來交給另外一個人的方式。現在雖然轉移到雲端硬碟上,但這其實不是一個合作過程,只是一個共享的工作流程或步驟,讓我們可以與其他人一起工作。但Omniverse革命性的關鍵在於我們將一起在那個世界中,假如我們雙方都在使用Omniverse,一起建構這個世界,那全部人都將能夠即時看見創造的世界,也能在不需要匯入或匯出的情況下做出改變,演變成一種全新的協作方式。

Omniverse比起以往的協作方式,是一種完全即時、可互動溝通、協同創造的環境,而非過往那種非即時、僅是交換專案檔案、單打獨鬥辛苦的創作工作流程。

問:這便帶到我下一個問題,當同時二個人在Omniverse環境中對同一區域或物件做編輯時,會發生什麼事?

答:如果我們共同創造一個房間,而你正在以3D模式畫牆壁的貼圖,然後我開始放物件到牆壁上等等,我們將能看到彼此正在做的事。即使到一個程度,比如我想將牆壁塗成不同的顏色,你同時又想將牆壁塗成其他的顏色。其中一個人可以進到裡面,並指定「我擁有牆的控制權」,那另一個人就只能看,或提出修改權利的請求。所以這種有「階級性」的環境正是Omniverse的核心,但背後的想法是我們在同一個場景中一起工作,就有辦法說:「好,你在做這個,那我去建造剩下的書櫃,或是我去建造家俱等等…」團隊會團結一致的合作。如下列圖片中,不同的創作者可以在不同地點使用多種軟體。他們實際上在改變結構、打光、陰影、材質等,這些都是即時發生的事。

Omniverse虛擬協作平台,讓多位使用者可在不同地點,用不同軟體在同一個專案中協同創作。NVIDIA

問:像這樣協同工作的概念,在美國已經是很常見的作業方式了嗎?

答:能夠在即時協作的環境下工作一直是個夢想。但如先前所說,我們一直被限制在只能夠來回地傳送檔案,或是分享硬碟等。而我們最大的期望總是:「天啊,好希望整個團隊都跟我在同一個空間工作,然後我們可以一起合作。」而我們正在實現他們的願望。現在因為已經解決了一些比較大的問題,解決了需要共同檔案格式的問題,也解決了需要即時、互動性跟地點的條件,而這等待已久的夢想,同時也是我們要橫跨產業界所面臨的挑戰。我們現在看到許多產業都順利的適應Omniverse的理由,正是我們解決了長年來的問題。所以沒錯,在美國跟其他地方,協同合作一直都有,但就像先前所說,以往時常與國外公司合作,但都不是即時的,只是一種盡力滿足工作流程的作法。

問:談到與工作室的合作,NVIDIA與ILM之間在Omniverse上有什麼故事分享呢?

答:他們目前正協助我們評估Omniverse。而他們近期在虛擬製作上( Virtual Production )有了突破性的進展。他們巨大的螢幕是由36台NVIDIA高階的專業顯示卡所驅動,全部是螢幕跟攝影機同步。他們正在積極地評估Omniverse,並不斷地在工作流程方面提供給我們回饋。我們與ILM一直有著良好合作關係,是我們最重要的客戶之一,也是夥伴。所以在將Omniverse完全準備好,放進像是《曼達洛人》這樣重要專案的工作流程之前,是需要花一些時間準備的。希望我們能到達成這目標。

問:在GTC大會上,BMW展示了數位分身(Digital Twin)科技,可與我們聊聊Omniverse是如何成就這項科技呢?

答:Omniverse可以處理非常龐大的資料集。以BMW的範例展示,它是一個對於未來工廠的想像,那個工廠是藉由CAD或CAD Data、300台以上的車輛且每台車約10 GB大小,再加上環境和機器,那是非常龐大的資料。而Omniverse能為它做到仿製一間工廠的寫實模擬。藉由此方式讓BMW能夠在現實世界中下決策前,先在人工合成的世界作決策。重點在於當你一年製造200萬台汽車,如果你要將工廠改成製造新的車型,如果有一天發生錯誤,試想如果是一週的話,那會讓公司損失慘重。現在透過Omniverse在虛擬世界中作決策,以一個真實狀況的角度看是否能正常運作之後,再到真實世界中作抉擇。他們也說,多虧了Omniverse,讓他們省下30%的開銷。這就是它的價值。

問:這次在COMPUTEX大會上發表的Omniverse個人與企業版本,之間有什麼差異呢?

答:我們從2020年開始Open Beta版本測試,截至目前為止大約有38,000人次下載,他們在社群上分享著很棒的作品。看著人們運用創意做出產物是很美好的一件事。但那是設計給個人使用的。而個人與大型工作室所面臨的挑戰是一樣的,如何在不同軟體之間即時交換使用。

那我們就可以來看看近期發布的Omniverse企業版。企業版是一個給企業客戶的完整解決方案。當中包含所有構成Omniverse的元件。從技術觀點來看,包含Omniverse Create程式,以及Nucleus讓他們能夠與多個使用者異地協同工作。同時也包含View,可以檢視所有正在執行的工作,這些功能都能夠使用。但最重要的是我們對企業使用者的支援,包含安裝指南等是企業最需要的。因此,透過訂閱制,支付一定費用可以使用一年的時間。而這筆費用會依組織的規模與需求而有所變動。我們可以從小至五人的團隊開始,以他們完全可以負擔的金額,也有大到5,000人的組織。我們也在跟尋求不同部署方式的公司們討論。像BMW擁有幾千人的創作者、設計師等等,而其他工作室可能是小型機動性高。他們運用Omniverse的目的就是可以跟不同規模的工作室合作。所以今年夏天將可以作搶先體驗。

問:也就是說,對一個10人規模的動畫工作室,什麼樣的解決方案更適合他們?你會如何建議決策者做評估?

答:10人規模工作室,取決於他們想要10個人一起工作,或是只有當中幾個人要協作。我們有方案可以讓他們體現5人或10人的工作流程。很多時候在不同的場景中,有一組人在做造型、有一組人在做動畫,還有一組人在做上色及素材,並非每個人都需要在同一時間進行互動,而Omniverse的好處在於具有彈性。根據預算及他們的工作範疇,可以提出希望10個人都是協作者,或是同時只要5個人是協作者,在我們的訂閱模式都可以支援。

問:所以這種評估方法對所有產業是適合的嗎?

答:當然。我們正在接受評估。也與建築設計、產品設計、遊戲開發、媒體、視覺特效、自動駕駛機器等領域的公司密切合作,正如我開頭所說,在許多垂直行業裡,3D已經越來越普遍,以至於我們確實需要全面地為每個人解決問題。

問:對於一家想要在短時間內能夠導入Omniverse的公司,有可以遵循的標準程序嗎?

答:我們有推出許多線上教學、文件和範例檔案可供參考,同時也擁有非常強大的論壇和社交媒體網站,並積極地與3萬個人合作,一旦我們進入這些企業環境後,相對來說可以更快速地部署運行,替企業客戶提供更多培訓計畫。同時,我們也與OEM夥伴合作,也許你會從我們認證的硬體合作夥伴中聽到Omniverse。我們會為他們進行培訓,讓他們能夠對客戶做訓練,這對平台開發商的我們來說是格外重要的。產業幫助我們一起打造Omniverse,他們也從中獲得益處。我們不希望打造出一種大家遵循的工作方式,而是透過大家的回饋,視他們的需求讓Omniverse來解決問題。這就像是不同產業的客戶共同協作的成果。

問:那他們又該如何選擇硬體配置呢?

答:在我們舉辦的Create with Marbles: The Contest的競賽中,有超過一半以上的人是使用GeForce與GeForce RTX顯示卡來創作的。因為Omniverse是設計在 RTX顯示卡上運行的。當然顯示卡的記憶體越大越好,不過也是得看創作者的需求是什麼,可以在筆電上運行Omniverse,也可以在伺服器上運行,或是在虛擬雲端上運行。

問:那麼Omniverse企業版又是如何計價呢?

我們會依使用需求以及創作者數量進行收費。當創作者使用Omniverse,包含 Create等其他工具則會有另一個收費標準;對於使用Nucleus的也會有一個收費標準。我們有各種方案可以支援所有情況。一個小公司,例如五人的團隊,可能會以低於15,000美金的費用來使用Omniverse。費用會依據各種工作環境需求而有所不同。

問:在DCC工具與Omniverse的互動方式中,有一種稱作「OmniDRIVE」,主要支援像Blender、ZBrush、Photoshop等軟體,這些軟體使用此互動方式的原因是什麼呢?

答:這個判斷的依據是軟體是否原生支援USD格式。如果是的話,那它就能與Omniverse進行雙向互動;或如果他們是以匯出的方式支援USD格式,那我們就能夠把匯出的內容放到Omniverse上,但就不是雙向的互動方式。所以Blender目前正在開發可全面支援USD方向前進,就像3ds Max和Maya一樣,如此一來就能夠來回的更新。而我們知道其它軟體開發商也正朝著相同的目標前進,但都還是以他們的時程進行。

目前主流的2、3D設計軟體,皆可與Omniverse相互連動。NVIDIA

問:目前僅供Uni-directional互動方式的軟體,在未來有機會發展成能夠與Omniverse進行雙向互動嗎?

答:當然,有些軟體公司已經能夠支援USD格式,那他們就能夠與Omniverse進行雙向互動。其它的軟體開發商則是計畫這麼做,至目前都能夠以各自的方式將場景匯出成USD格式。但如果它們並非原生性的支援USD格式,那雙向互動對它們來說就會有所限制。如我所說,大部分與我們合作的軟體開發商,都對於要能夠支援USD,或即將進行開發支援USD格式是有共識的。

問:Omniverse目前提供幾款相當棒的App程式,接下來有預計推出哪些新程式呢?它們又有什麼特點?

答:Omniverse是一個開放性的平台,使用者可以建構、擴充應用程式。我們的團隊會開發應用程式,客戶也是。接下來在Open Beta中,我們會釋出二個程式,第一個為「Audio2Face」,它讓你藉由簡單的音源檔案來驅動3D角色的臉部動畫,無論你是透過麥克風說話,或是載入現有的聲音檔,在經過特徵匹配後,便會為臉部製作動畫。對許多人來說節省了大量時間,也讓遊戲開發更容易,對於需透過聲音來驅動動畫的專案來說,更是非常大的技術突破。

另一個程式為「Machinima」,目前還在Open Beta的階段。也許你很久以前就看過這個名詞,它是對於一種用來為遊戲內容或其它3D資產中說故事工具的定義,一種用軟體製作動畫的方式,像是設計來製作影片或電腦遊戲。我們的團隊期望透過Machinima讓設計故事的人用簡易的方式來說故事。基本上就是將遊戲內的3D物件,透過在Omniverse上的Machinima中結合像AI PoseEstimator、Audio2Face以及擬真的渲染與特效模擬能力,快速做出遊戲的敘事劇情動畫。我們從許多測試使用者看到令人興奮的成果,這是一種全新的說故事方式。

最後我想特別介紹一個來自第三方公司所開發的程式。Bentley Systems宣布他們以Omniverse平台所開發的數位分身科技「iTwin」,是他們用來建立數位分身內容的工具組,在與他們客戶合作的過程中,讓他們得以管理和監控設施,同時也成功為客戶解決非常棘手的問題。舉例來說,當客戶建造了許多大型電廠、工業設施或交通轉運站等,要對這些設施進行管理是非常耗時耗工的。但透過數位分身打造的 3D 模型環境,客戶可以了解並開發機器人,以更有效率的方式來處理那些危險性較高的工作。

問:在Youtube上看到許多Audio2Face的精彩運用,如果能與Unreal Engine的Metahuman技術結合的話,那應該做出非常高品質的劇情動畫。

答:能夠集結所有最棒的技術就是我們所期待的。Epic Games的Unreal Engine 是我們最棒的合作夥伴之一,Unreal Engine大概是與Omniverse擁有最好連結性的軟體。結合Metahuman和Audio2Face的技術將能夠為所有人帶來最好的娛樂體驗。

問:最後,想和那些還沒嘗試過Omniverse朋友說些什麼嗎?

答:首先,感謝每位下載測Omniverse的使用者們,而那些還在考慮、同時又有RTX顯示卡的朋友們,我想邀請你們到NVIDIA Omniverse網站直接免費下載 Open Beta試用。我認為讓更多人看到 Omniverse 的能耐是很重要的,能夠體驗不同產業如何運用它,並看看是否能解決自己當前遇到的問題,無論是在開發遊戲、打造一棟大樓,或設計次世代的汽車,Omniverse都能在你的工作流程中佔有一席之地,如此令人興奮的機會,希望各位能夠親身體驗!

(本文由映CG授權轉。原文連結

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: NVIDIA