超越算力：資料移動效率正成為AI基礎設施的新戰場

資料移動效率正成為AI基礎設施的新戰場。Avnet

過去幾年，全球AI基礎設施競爭幾乎都圍繞著同一個問題：如何取得更多算力。從大型模型訓練到生成式AI推論，市場關注焦點始終集中在更強大的加速器、更大的模型，以及更高的運算效能。

然而，當AI開始從技術展示走向大規模商業部署，一個新的問題正變得難以忽視：如果資料無法以足夠低的延遲、足夠高的頻寬在系統中流動，再強大的算力是否也可能成為閒置資源？隨著AI叢集規模持續擴大，決定系統整體效能的關鍵，正從單純的運算能力延伸到資料移動效率。

在AI資料中心、邊緣AI平台、機器人、智慧製造與軟體定義車輛等應用中，效能愈來愈取決於運算、記憶體、儲存與網路能否高效協同。因此，系統設計者面對的問題正在改變。重點不再只是「能部署多少算力」，而是整體架構能否讓這些算力持續保持高利用率。這使高速互連不再只是支援性技術，而逐漸成為AI系統架構中的關鍵要素。

當加速器等待資料  AI效能就會受限

AI基礎設施的投資效益高度取決於利用率。AI加速器是高價且關鍵的運算資源，但只有在持續處理工作負載時，才能真正創造價值。如果資料無法在伺服器、加速器、記憶體、儲存與網路之間快速移動，即使擁有高效能運算資源，也可能因等待資料而降低整體效率。這在分散式AI環境中尤其明顯。大型模型訓練需要大量資料交換與同步；推論工作負載則依賴穩定且可預測的回應時間。

隨著AI部署規模擴大，網路介面卡（NIC）、交換器、互連技術與PCIe架構，都可能影響吞吐量、延遲與加速器利用率。因此，系統效能的評估方式也需要改變。如今，設計者不僅需要關注處理能力，更需要確保系統具備足夠頻寬、低延遲及穩定一致的資料流動能力。

高速互連正成為系統級設計的新挑戰

互連所面臨的挑戰，並不只是追求更高資料傳輸速率。隨著AI工作負載擴大，系統設計者必須同時平衡頻寬、延遲、功耗、散熱、訊號完整性、可靠性與成本。從PCIe、Ethernet，到高速連接器、光模組、AEC與AOC，各項技術都牽涉系統層級的設計取捨。

因此，真正的挑戰已不再只是選擇「更快」的元件，而是如何進行系統級最佳化。互連決策必須更早與運算、記憶體、儲存及電源架構一併考量，而不能被視為後期才處理的工程細節。這也反映出AI基礎設施產業正在發生更深層的轉變。產業目標不再只是讓個別元件更快，而是建立能讓運算、記憶體、儲存與網路高效協同運作的架構。

為什麼台灣在下一階段AI基礎設施中具有關鍵優勢

如果第一波AI浪潮主要受惠於先進製程與高效能運算需求，那麼下一波AI基礎設施升級所需要的，將是更完整的系統整合能力。從伺服器、網通設備、PCB、連接器、電源模組，到熱管理與系統製造，許多決定AI效率的技術環節，都與台灣科技供應鏈高度相關。這也是為什麼光互連、高速網路、先進封裝與系統整合能力，正逐漸從支援技術轉變為影響AI競爭力的重要因素。

AI伺服器需要的不只是先進處理器，也依賴高速板級架構、可靠互連、高效率電源傳輸、先進散熱設計與高效能網路。這為台灣科技生態系創造了新的機會，使其不只是供應個別技術，更能在完整AI平台開發中扮演更重要角色。

隨著AI資料傳輸速率持續提升，產業也正積極探索光互連，以及LPO、NPO、CPO等新架構。這不只是介面速度的升級，更牽涉功耗、散熱、封裝、訊號完整性與系統擴展能力等多項設計取捨。

生態系協作的重要性正在提升  AI基礎設施的複雜度正快速提高

一個高效能AI系統，往往需要半導體供應商、光模組供應商、網通公司、伺服器製造商、軟體開發者、系統整合商及供應鏈夥伴共同參與。每一層的設計決策，都可能影響訊號完整性、熱效能、功耗、供應穩定性與製造成本。因此，取得合適技術只是挑戰的一部分。企業還需要工程專業來評估技術取捨、理解互通性需求、驗證系統設計並管理供應鏈。

這也正在改變技術合作夥伴的角色

作為全球技術分銷商與解決方案提供商，Avnet橫跨科技生態系多個層面，串聯半導體與元件供應商、工程資源、設計支援與供應鏈能力。重點不只是協助客戶取得技術，而是協助客戶應對將多種技術整合成可部署系統的複雜度。這包括協助客戶評估處理器、高速互連、電源、熱管理與軟體平台等關鍵技術，並透過工程資源與生態系合作，加速從設計到部署的過程。

下一階段AI優勢將來自系統級能力

AI基礎設施的第一階段，很大程度上由算力定義；下一階段，則將由這些資源能否有效協同運作來定義。
這意味著，互連、記憶體、儲存、電源、熱管理與軟體，將成為AI基礎設施中愈來愈重要的一部分。對台灣而言，這一演進為既有科技生態系創造了更廣泛的機會。高速互連將是其中的重要一環，而 PCIe、Ethernet、光模組、AEC/AOC與先進交換技術，將愈來愈影響系統效率與擴展能力。但更重要的啟示超越單一技術。

AI效能最終是一個系統級結果。AI的未來不會只建立在算力之上，而將建立在資料、運算、互連、電源與系統設計能否協同運作之上。隨著AI進一步深入資料中心、工廠、車輛與智慧機器，真正的競爭優勢將不只是誰能打造更快的處理器，而是誰能更有效率地移動、管理並運用資料，讓整個系統發揮最大效能。

下一階段的AI競爭，將不只是算力之爭，更是資料移動效率與系統整合能力之爭。誰能讓資料更快、更穩定、更有效率地流動，誰就更有機會在AI基礎設施的新階段取得優勢。