AI創新者採用NVIDIA Vera：大規模運作具最高單執行緒效能的CPU
- 陳俞萍／台北
-
大規模運作下仍具備最高單執行緒效能的CPU，是為代理型人工智慧（AI）時代打造的全新CPU類別。
在代理型系統的建置與部署過程中，CPU處於關乎推理、回應時間與學習的關鍵路徑上。CPU是執行AI模型指令工作的處理器，包括工具呼叫、程式碼執行、資料處理、KV快取與結果分析。
對AI工廠中的代理而言，速度至關重要。CPU執行工具的速度越快，代理完成當前任務的速度就越快。
對AI工廠而言，GPU利用率是資料中心最具價值的資源，因此任何等待任務完成的時間，都會限制AI工廠的收益，更甚者，還可能因等待CPU完成任務而影響GPU的利用率。AI工廠需要具備最高單執行緒效能的CPU，才能將AI工廠的收益與代理效能最大化。
當今資料中心的CPU並非為大規模環境下的速度而設計
雖然目前已經有適用於PC與工作站的高速CPU，但資料中心CPU的發展方向，已逐漸偏離單執行緒效能。雲端的興起促使CPU製造商打造更高核心數的CPU，並透過犧牲效能來降低成本。
為了最佳化每個可租用核心的成本，CPU晶片中的核心數不斷增加，卻也排擠了原本能讓這些核心高速運作的晶片面積，例如高效能記憶體互連架構，以及每核心更快的指令處理能力。轉向小晶片（chiplet）架構雖然進一步降低了成本，卻也帶來「小晶片稅（chiplet tax）」的問題，使每個 CPU 的核心無法再充分利用晶片的完整記憶體效能。
AI代理需要一款專為在大規模環境下實現最高單執行緒效能而設計的CPU
大規模運作下仍具備最高單執行緒效能的CPU，能在系統滿載時，讓每個代理步驟維持高速運作。每個核心皆能以完整效能完成代理任務，不會受到其他核心拖慢。大規模運作下仍具備最高單執行緒效能的CPU採用不同設計，旨在實現：負載狀況下具備強勁的每核心效能；足夠的每核心記憶體頻寬，為運作中的核心持續提供資料；可預測的延遲。
每個核心都能在不受其他核心拖慢的情況下完成自身任務，帶來出色的輸送量，更重要的是，能實現單核心任務的極致效能。
NVIDIA Vera展現了這類全新CPU設計
如何打造在大規模運作下仍具備最高單執行緒效能的CPU，以執行代理型迴圈
AI代理不會在處理單一請求後就停止運作，而是以迴圈方式運作。模型會推理下一步該如何行動，CPU會執行與模型相關的工作，結果會回傳給模型，模型再決定下一步該怎麼做，接著迴圈再次運作。
這種模式形成了傳統CPU未經最佳化的需求樣貌。傳統CPU的工作具備間歇性且由使用者驅動，主要由人們觸發的短暫互動所構成。代理型工作則是持續且平行的：大量的代理持續運作，每個代理依序執行一系列步驟，而每個步驟都取決於前一步的結果。
CPU的核心數越多，意味著每個CPU可處理的代理任務越多，資料中心CPU也需要大量核心來最大化任務輸送量。
然而，增加CPU核心數並無法縮短單一代理迴圈中每個步驟所需的時間。更多核心無法讓單一任務運作得更快。事實上，為了最大化核心數而設計的CPU，甚至可能因核心爭奪資源而降低每個核心的效能。
要推動每個步驟的完成速度，單一核心的個別效能至關重要。增加核心數所帶來的輸送量固然有用，但仍不足夠。由於每個動作都取決於前一步的結果，單一核心的速度決定了迴圈推進的速度。
最終，最頂尖的代理型CPU需要具備每核心最佳的單執行緒效能，且每個核心都必須毫不妥協地提供這樣的效能。世界以秒計算，代理則以奈秒計算。NVIDIA Vera正是為這類全新工作型態與速度需求而打造。
NVIDIA Vera是為代理打造，在大規模運作下仍具備最高單執行緒效能的CPU
NVIDIA Vera是一款在大規模運作下仍具備最高單執行緒效能的CPU，從頭開始為代理迴圈而設計，也就是代理在使用工具、處理資料、執行程式碼與檢查結果時，於模型呼叫間所進行的工作。
Vera的核心是Olympus，NVIDIA客製化的CPU核心，其每週期指令數較NVIDIA Grace提升 50%。這點相當重要，因為許多代理的步驟都是依序進行。無論是工具呼叫、程式碼執行、測試運作或資料處理步驟，都必須先完成，下一次模型呼叫才能使用其結果。更快的核心能讓每個迴圈更快向前推進。
Vera將這些更快的核心，搭配高達1.2TB/s 的 LPDDR5X記憶體頻寬，且記憶體功耗低於40瓦。此外，Vera採用單片運算裸晶，有助於讓運作中的核心持續獲得資料供應，並透過3.4TB/s的核心對核心頻寬，維持可預測的資料傳輸，這是其他任何資料中心CPU的3倍。這使得所有88個核心都能取得CPU的完整記憶體效能，同時避免產生會拖慢每個核心速度的瓶頸。
其結果是代理迴圈運作得更快。在代表代理型執行的滿載CPU工作負載中，Vera展現的每核心持續效能是x86的1.8倍。
這些效益會在工具呼叫、程式碼執行、資料處理步驟與驗證流程中不斷累積，協助AI工廠以現有GPU完成更多代理工作。
Perplexity 已在每日運作的代理型工作中測試Vera。在執行真實的程式碼工作流程，也就是複製儲存庫並在沙盒中執行其測試套件時，Vera完成工作的速度約比x86快1.5倍，並能以最高1.9倍速度啟動並行沙盒。Perplexity目前正計劃在其即將上線的生產系統中部署Vera。
代理同樣仰賴資料。它們不斷查詢、擷取、篩選與傳輸資訊，而Vera能更快地執行這些CPU端資料工作負載。合作夥伴的測試顯示，相較於領先的x86伺服器CPU，Vera搭配Starburst可實現快3倍的大規模 SQL 分析，搭配Redpanda進行即時串流處理時，則可實現最高6倍更低延遲。
代理工作並非單一工作負載。代理會執行工具與沙盒、處理資料、回應請求，並透過強化學習訓練下一個模型，而這一切都依賴相同的優勢。
單一Vera即可處理所有應用場景，無需針對每種工作負載配備不同的CPU。此外，由於Vera同時是NVIDIA Vera Rubin中承載GPU的CPU，也驅動NVIDIA BlueField-4 STX儲存處理器，因此整個AI工廠皆基於單一架構與單一工具鏈運作。
NVIDIA的腳步仍未停止。搭載Rigel核心的NVIDIA下一代Rosa CPU，將延續NVIDIA為代理型AI時代打造的CPU產品藍圖。Rigel是NVIDIA下一代Arm v9.2 CPU核心，在維持相同晶片面積的同時，提供比Olympus更高的每核心效能。主要改善包括更好的指令傳遞、更大的L2快取，以及更高效的記憶體處理。
為代理的速度而打造
在代理型AI時代，全球將出現數10億個代理，而每個代理都將仰賴CPU來行動、檢查、擷取、執行與驗證。在這個全新市場中，代理完成的工作就是產品。
更快的代理迴圈能協助每顆GPU將更多時間用於執行可產生收益的工作，並減少等待時間。NVIDIA Vera正是為這個未來打造的CPU。深入了解NVIDIA Vera CPU。
