邊緣運算全面啟動 技嘉聯手NVIDIA 引領企業布局專屬AI新賽道

「邊緣運算全面啟動：引領AI落地新紀元」論壇吸引企業IT主管、開發者及產業夥伴參與，現場聚焦地端AI算力、模型部署、AI Agent與資安治理，交流企業由概念驗證走向實際營運所面臨的應用與整合課題。技嘉科技

生成式AI正快速由雲端服務進入企業營運現場，應用範圍涵蓋企業知識庫、研發資料、智慧製造及供應鏈流程。企業關注的焦點已不限於模型效能，還包括部署效率、資料治理、安全控管及應用整合。AI Agent、私有知識庫、模型微調與邊緣推論需求升溫，也促使企業由使用現成AI工具，轉向建立自主AI能力。

對此，技嘉科技特別舉辦「邊緣運算全面啟動：引領AI落地新紀元」，邀請多位產業專家，針對算力平台、模型部署、安全治理及AI Agent等議題發表專業觀點，協助企業掌握地端AI的導入方式與應用機會。

串聯算力、AI Agent與資安治理  技嘉建構地端AI應用生態

技嘉科技專業電腦事業處副總經理廖期立在致詞時表示，企業導入AI時，普遍面臨機敏資料能否上雲、建置成本是否可控，以及避免受制於單一雲端平台等問題。地端AI可協助企業掌握資料、算力與應用生態，建立自主AI能力。

技嘉長期布局主機板、顯示卡、伺服器、資料中心及高效能運算，近年推出AI TOP產品線，整合硬體、模型微調與系統監控軟體，並與製造、醫療、教育及政府等領域夥伴合作，發展符合不同場域需求的地端AI應用。

生成式AI的發展重心正由問答與內容生成，轉向能夠理解任務、串接工具並自主執行工作的AI Agent。當企業希望讓每位員工或不同部門擁有專屬Agent，地端算力、模型部署及資源配置也成為導入時必須處理的問題。Gigabyte AI TOP ATOM搭載NVIDIA GB10 Grace Blackwell超級晶片的桌上型AI系統具備128GB統一記憶體，可在地端部署、微調及推論大型語言模型；面對更大型的模型與工作負載，也可串接多台設備擴充運算能力。

AI Agent進入企業流程後，還會牽涉開源軟體風險、使用者權限、網路存取及不同部門的資安政策。NVIDIA NemoClaw可作為AI Agent的安全框架，NemoClaw可在OpenShell沙盒中執行支援的Autonomous Agent (自主代理人)，如OpenClaw 或 Hermes Agent等，並透過政策控管限制其網路、檔案及推論資源存取，降低Agent連接企業系統與外部服務時的風險。

企業可依部署需求，搭配NVIDIA AI Enterprise軟體生態，選擇NVIDIA NIM微服務與相關AI軟體，在地端部署與管理模型及Agent，並在身分、權限與資安政策控管下，將其導入資訊蒐集、內容摘要等既有工作流程。

為考量資料主權、成本與開源模型成熟度，企業陸續將AI推論移至地端，但資料留在內部，並不代表系統自然具備安全性。Palo Alto Networks資深技術總監蕭松瀛提到，AI Agent會自主下載工具、串接模型與外部服務，可能引入軟體供應鏈、惡意模型、提示詞注入、機敏資料外洩及權限失控等風險，攻擊面也會延伸至開發者端點與企業網路。

企業應在部署初期納入零信任思維，先盤點員工使用的AI工具及模型，再透過模型掃描、執行階段的雙向內容檢測、API統一出口、身分與權限控管，以及網路微分段限制Agent可存取的系統。相關操作紀錄與提示詞也須保留，以符合金融等高度監管產業的稽核要求。

近年企業積極導入地端AI，明確應用方向及模型操作能力成為系統能否順利發揮效益的關鍵。技嘉科技專業電腦事業處產品銷售經理陳聖坤表示，AI TOP生態圈以操作簡易、價格可負擔及地端部署為方向，整合硬體、技嘉專為AI部署打造的專屬軟體 AI TOP Utility與產業展示方案。

搭載NVIDIA GB10 Grace Blackwell超級晶片的AI TOP ATOM具備可攜性，可執行模型管理、資料集整理、微調及推論，協助中小企業、研究機構與醫療院所透過實際展示確認應用需求。

當AI由個人或小型團隊擴大至部門，系統還須支援多人使用、模型與資料自主控制，以及後續擴充。技鋼科技代副處長劉于碩指出，W775鎖定中大型企業，以NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip提供部門級運算能力，並搭配軟體環境部署模型服務、RAG及AI Agent。企業可先選定一個部門及成果可衡量的日常工作，驗證效益後再擴展至其他單位，並銜接伺服器叢集或AI Factory，降低一次投入大型基礎建設的風險。

地端AI落地從明確場景起步 同步盤點算力、資安與組織協作

除了專題演講，此次活動也邀請各位專家，以「地端 AI 落地實戰：企業導入還差哪一塊拼圖？」為題，交換意見。對於近年企業AI由試驗走向實際運作，必須同時處理應用、算力與資安的問題。企業可由內部知識庫及RAG著手，參考NVIDIA Blueprint並視模型客製化、評估及部署需求採用 NVIDIA NeMo加速應用開發與導入流程；硬體則須依模型規模、微調需求、使用人數及可接受延遲評估，並以NVIDIA NIM等軟體優化推論效能。

蕭松瀛認為，資安應在導入初期即由高層統一規劃，避免各部門自行建置後難以整合。地端部署也不等於安全，仍須防範惡意模型、資料污染及未授權存取；若資源有限，可優先建置AI Gateway，集中管理雲端與地端流量、提示詞紀錄及合規稽核。

廖期立則建議，企業推動AI宜由資訊長或執行長領軍，並先建立內部共識，因為AI導入勢必牽動既有工作流程。中小企業可先採用具擴充性的地端設備進行展示與驗證，再依使用人數、資料量及模型需求增加算力；實際動手建置，也有助於釐清模型、資安與維運問題。

技鋼科技代副處長劉于碩表示，大型企業先以RAG整理內部資料，挑選單一部門中繁重、重複且成果可衡量的工作，例如競品分析，建立最小可行應用。硬體採購應回到任務、使用者人數與資料量三項條件，待效益獲得驗證後，再擴展至其他部門及全公司。

Build-a-Claw實機演練 完整驗證地端AI開發與部署流程

繼上午的專題演講與圓桌論壇後，下午場的「Build-a-Claw開發者極限實戰」轉向實機操作，由和誼科技執行長許毓展帶領工程師、開發者及IT決策者，以技嘉AI TOP ATOM完成地端AI開發流程。課程首先透過Docker、Ollama及vLLM部署開源大型語言模型，並串接向量資料庫建立私有RAG知識庫，觀察多使用者同時檢索時的推論速度與記憶體佔用；接著針對自動化控制與指令遵循情境進行模型微調，測試高負載運算時的效能、功耗與散熱表現。最後整合前兩階段成果，運用NVIDIA NemoClaw建立安全防護機制，並串接OpenClaw開源框架，打造可執行物件辨識、邏輯抓取及任務排程的AI Agent，讓參與者實際走過模型部署、知識庫建置、微調到Agent開發的完整流程。

隨著企業AI由概念驗證走向實際營運，地端部署也更重視算力配置、模型微調、RAG知識庫、AI Agent及資安治理的整合。此次「邊緣運算全面啟動：引領AI落地新紀元」透過專家演講與實機操作，提供企業打造兼顧效能、成本與資料主權的導入機制。面對不同部門與應用規模，企業可先選定具體場景驗證效益，再依使用人數與資料量擴充軟硬體及治理機制，讓地端AI真正進入日常營運流程，成為強化競爭優勢的最佳助力。