NVIDIA推出世界基礎模型平台 加速開發實體AI 智慧應用 影音
DForum0225
Event

NVIDIA推出世界基礎模型平台 加速開發實體AI

  • 黃郁婷台北

NVIDIA推出Cosmos世界基礎模型平台,加速開發實體AI,針對NVIDIA資料中心GPU最佳化的全新先進模型、視訊標記器與加速資料處理管道,專為開發機器人與自駕車而建造。NVIDIA
NVIDIA推出Cosmos世界基礎模型平台,加速開發實體AI,針對NVIDIA資料中心GPU最佳化的全新先進模型、視訊標記器與加速資料處理管道,專為開發機器人與自駕車而建造。NVIDIA

NVIDIA宣布推出NVIDIA Cosmos平台,在這個平台裡包含最先進的生成世界基礎模型、先進的標記器、防護機制和加速視訊處理管道,用於推動自駕車和機器人等實體人工智慧系統的發展。

實體AI模型開發成本高昂,需要大量的真實世界資料和測試。Cosmos世界基礎模型(WFM)讓開發人員能夠方便產生大量逼真又符合物理原則的合成資料,以訓練和評估其現有模型。

NVIDIA創辦人暨執行長黃仁勳表示:「機器人的ChatGPT時刻即將到來。就像大型語言模型一樣,世界基礎模型是推動機器人和自駕車發展的基礎,卻又不是所有開發人員都擁有專業知識和資源來訓練自己的模型。我們創造Cosmos是為了普及實體AI,讓每一位開發人員都能掌握一般機器人技術。」

開放世界基礎模型,加速推動發展下一波AI浪潮NVIDIA Cosmos的開放模型套件代表開發人員可以視自己目標應用的需求,使用資料集自訂WFM,例如自駕車的行車錄影畫面或是機器人穿梭在倉庫裡。

專為實體AI研發工作而生的Cosmos WFM,可從文字、影像、視訊等輸入資料,以及機器人感測器或動作資料的組合,產生符合物理原則的影片。專為符合物理原則的互動、物件持久性,以及生成高品質模擬工業環境和駕駛環境而建立這些模型。

實體AI產業的先驅業者已經開始採用Cosmos技術

AI及人型機器人公司1X使用Cosmos Tokenizer推出1X World Model Challenge資料集。小鵬汽車將使用 Cosmos加速開發自家的人型機器人。而 Hillbot和SkildAI則是使用Cosmos來快速開發自家的通用機器人。

Agility技術長Pras Velagapudi表示:「資料稀少和多變是機器人環境中成功學習的主要難題。Cosmos的文字轉世界、影像轉世界和視訊轉世界的功能,讓我們能夠在各種任務中產生和增強那些栩栩如生的場景,我們可以利用這些場景來訓練模型,不用花費大量時間心力去取得實體世界的資訊。」

交通運輸業的領導業者同樣使用Cosmos為自駕車建立實體AI

Wayve是一家開發自動駕駛AI基礎模型的公司,正在評估將Cosmos作為搜索用於安全性和驗證之邊緣和極端行車情況的工具。提供自駕車工具鏈的Foretellix將使用Cosmos與NVIDIA Omniverse Sensor RTX API,以評估和產生大量真實感十足的測試場景和訓練資料。

全球乘車服務巨擘Uber將與NVIDIA合作,加速推動發展自動駕駛移動技術。Uber提供豐富的駕駛資料集,結合Cosmos平台與NVIDIA DGX Cloud的功能,將協助自駕車合作夥伴更有效率地建立更強大的AI 模型。

Uber執行長Dara Khosrowshahi表示:「生成式AI將用於支援未來的交通運輸服務,這需要豐富的資料和非常強大的運算能力。我們與NVIDIA合作,有信心能協助推動業界發展出安全且具擴充性的自動駕駛解決方案時間表。」

開放的Cosmos平台包含專為減緩有害文字與影像而設計的防護機制,具備加強文字提示準確性的工具。在 NVIDIA API目錄上使用Cosmos自回歸和擴散模型產生的影片會有一個隱形浮水印,用於辨識AI產生的內容,有助於減少錯誤資訊和張冠李戴的機會。

現已可在Hugging Face及NVIDIA NGC目錄上,以NVIDIA開放模型授權的方式取得Cosmos WFM。即將以徹底最佳化NVIDIA NIM微服務的形式提供Cosmos模型。開發人員可以使用NVIDIA NeMo Curator 來加快處理訊內容,並且使用NVIDIA NeMo訂製自己的世界模型。

NVIDIA DGX Cloud讓使用者可以便捷地部署這些模型,並且透過NVIDIA AI Enterprise軟體平台提供企業支援服務。另有推出全新NVIDIA Llama Nemotron大型語言模型和NVIDIA Cosmos Nemotron視覺語言模型,開發人員可將這些模型用於醫療保健、金融服務、製造業等領域的企業 AI 使用案例。