百工百業導入AI進入實戰期 Agent與AI基建成焦點
- DIGITIMES企劃
-
生成式AI已從模型競賽進入商用實戰階段，企業關注焦點也從「能不能回答」轉向「能不能執行、能不能規模化、能不能產生實質ROI」。面對PoC難以量產、推論成本上升、異質資料難以整合與Agent治理等挑戰，DIGITIMES於6月4日舉辦「GenAI Nexus：百工百業生產力中樞」論壇，聚焦推論經濟學、數據中樞重構與全域工作流自治三大主軸，邀集多位業界專家，從零售、製造、雲地整合、AI基建與企業Agent實戰等角度，剖析生成式AI如何跨越PoC死亡之谷，從對話工具走向可落地的企業生產力中樞。
生成式AI加速進入企業流程，如何把分散的顧客資料、商品資訊與門市作業整合成可即時運用的營運能力，成為零售轉型的新課題。全國電子資訊長黃漢傑指出，零售業導入AI前，必須先處理網路架構老舊、系統分散、資料孤島、總部與門市協作斷鏈等問題，否則AI難以真正落地。
全國電子自1975年創立以來，經歷連鎖化、策略聯盟、數位化到數位轉型階段，近年陸續導入ERP、CRM、GWS、SD-WAN、電子標籤、APP、電商平台與大數據平台，補強企業數位基礎。目前全國電子以「OMO × Data × AI」為主軸，將AI應用於商品推薦、智慧貼標、會員分析、門市輔銷與內部自助服務，讓門市人員可透過AI助理快速查詢商品規格、促銷活動、SOP文件與推薦資訊，同時支援主管進行營運決策。未來，全國電子將以數據為核心、AI為引擎、OMO為場景，持續提升顧客體驗、門市效率與營運韌性。
對製造業而言，真正的挑戰已不是要不要導入AI，而是能否讓AI進入現場決策流程。緯謙科技智慧製造處數位轉型部經理吳政舉表示，製造業導入生成式AI的核心，不在於工具本身是否先進，而在於企業能否把資料轉化為可信任、可協同、可執行的決策能力。他表示，許多工廠並非缺乏資料，而是資料分散在CRM、ERP、MES、Excel與E-mail之中，當客戶提前交貨、關鍵零件缺料、設備異常或品質問題發生時，組織往往先花時間找資料，難以及時判斷與應變。
緯謙科技認為，AI應從單純告知問題的儀表板，走向能協助解決問題的Agent中樞，串接知識問答、HR與IT助理、任務自動化、數據分析、API整合與權限治理，避免各部門各自導入AI後形成新孤島。吳經理建議企業先選擇維修、排程或品質等單一場景，從一條產線做起，在90天內驗證第一個Agent，讓AI真正進入決策流程。
商業分析場景因資料來源明確、需求貼近決策流程，成為AI代理人落地的重要切入點。Going Cloud解決方案架構總監林煒恩提到，企業評估AI價值不能只看單一ROI，而需依階段調整判斷標準，前期重在資料、人員、場景與基礎建設準備，後期才逐步以量化指標檢視成效。
他以GenBI為例說明，生成式AI與商業智慧結合後，可透過Text2SQL、Schema Metadata、資料庫與Agent協作，讓使用者以自然語言查詢資料、產生圖表與分析洞察。不過，企業若要從PoC走向規模化，必須先確認資料結構是否完備、Prompt由誰維護、權限如何控管，以及不同部門擴充後的成本與管理責任。Going Cloud建議以單一情境導入降低初期成本，再透過資料層、工具層、代理人層與業務應用層的四層架構，保留後續擴增彈性，讓AI代理人真正接上企業決策流程。
要讓Agent進入正式營運場景，企業須處理資料即時性、流程可控性、系統整合與安全治理等落地問題。IBM Taiwan Data & AI技術總監李維倫指出，許多AI專案停留在PoC階段，主因在於資料孤島、舊系統時延、Agent決策缺乏透明度，以及實驗雛型難以接上核心系統。
IBM以watsonx Orchestrate為編排控制平面，結合Confluent即時資料流、DataStax向量檢索與IBM Bob AI開發夥伴，試圖補齊企業AI從知識查詢到任務執行的拼圖。以AskHR情境為例，員工可用自然語言提出請假需求，系統透過意圖辨識、政策推理、假別查詢、簽核路由、通知與行事曆同步等技能，自動完成跨系統流程。
李維倫也提到，IBM Bob不僅是編碼助手，更可支援系統設計、程式碼理解、Java升級、舊系統現代化、測試、部署與維運，並內建FedRAMP、HIPAA、PCI等合規框架與即時安全掃描能力。對大型企業而言，AI Agent能否規模化，關鍵在於是否具備可稽核、可治理、可整合的執行架構。
如何把算力、資料、模型與應用開發環境串起來，將影響AI能否真正進入百工百業。國網中心技術總監林昀德提到，AI技術已從感知AI、生成式AI，走向推理AI、Agentic AI與Physical AI，企業與科研單位對高效能運算、高速網路與大規模儲存的需求同步升高。國網中心以HPC/GPU算力、TWAREN高速學術研究網路與PB級儲存架構作為基礎，支援台灣主權AI發展，並透過TAIWAN AI RAP平台，協助使用者把資料、模型與應用轉化為可上線服務。
AI RAP提供低程式碼流程設計、多模型API服務，以及模型微調與評估自動化功能，目前整合TAIDE與國際開源模型共87個模型，並支援TTFT、TPOT、Latency等效能監測。林昀德表示，平台試營運期間已有103個單位使用，涵蓋公共服務、醫療、技術開發、教育、製造、資安等25個應用領域。未來國網中心將持續優化RAG、模型微調、自動評測、多元GPU與AI加速晶片支援，推動台灣AI從PoC走向正式部署。
主權AI與企業專業Agent成為下一階段AI落地的重要方向，但在製造、醫療、物流等專業領域，市場仍存在大量尚未被充分開發的應用空間。陽明交大人工智慧系統檢測中心教授陳添福表示，台灣發展主權AI，除了需要國家關鍵資料、大型AI算力與自主雲端服務，也要建立能貼近產業場景的專業模型與Edge AI應用能力。他以myPDA.ai與Kortex Industrial Agent為例說明，企業真正需要的不是一般聊天機器人，而是能結合專業工具、技能設定、GenUI與安全執行環境的AI員工數位分身。
Kortex作為企業Agent Runtime，強調記憶系統、安全邊界與進化機制，可透過三層記憶架構、事件流回放、Token成本估算、宣告式YAML規則與自我評分機制，讓Agent在企業本機環境累積知識，同時保有可稽核與可控性。實際應用上，myPDA可支援產品選型與報價、IC規格分析、產線異常分析等任務，協助企業縮短作業時間、提升判斷準確度。
Agent落地營運 指令與治理成關鍵
企業要讓Agent真正會做事，資料、業務脈絡、權限與準則缺一不可。人工智慧科技基金會首席資料科學家蔡源鴻指出，企業常以為資料很多就能讓AI懂業務，但ERP交易紀錄、CRM客戶資料、SOP流程、E-mail與資深員工經驗之間，往往存在語義與邏輯斷層，AI因此無法正確判斷如何報價、派工、警示升級或追蹤商機。
他提出「智慧指令集」概念，將企業零散資訊轉為情境、訊號、判斷、行動與邊界等可執行結構，讓Agent不只知道怎麼回答，也知道何時能做事、何時必須停下來交由人處理。蔡源鴻表示，企業可先選擇高頻、高痛點、高價值的工作流程，透過真實案例蒐集、老手經驗訪談、判斷訊號萃取與情境規則建立，逐步形成可檢索、可治理、可稽核的指令集。面對Agent自主性，企業應採取分級治理，從摘要、建議、低風險自動執行到高風險人工批准，並以相關性、解決率、冗餘度與投報比等4R框架衡量AI真實價值。
當Agent成為人與系統互動的主要介面，一次任務可能牽動數十至數百次推理，延遲、算力成本與治理能力將直接影響AI能否規模化。Akamai資深技術顧問王明輝表示，企業打造AI生產力中樞，需同時兼顧高ROI、低延遲與可治理三大條件。在低延遲方面，集中式雲端難以完全滿足Agentic工作流的即時需求，推理服務必須更靠近使用者，透過邊緣GPU、Serverless Functions、Managed K8s與分散式架構降低鏈式延遲。
在ROI方面，企業可依需求選擇Open API、Managed GPU、Cluster或Serverless等不同採用路徑，並依模型大小、即時性與隱私需求對應CPU、Ada或Blackwell GPU資源。王明輝也提醒，Agentic AI帶來Prompt Injection、MCP Server漏洞與東西向流量橫向移動等新威脅，企業需以Firewall for AI、API Security與Guardicore微分段建立多層防護。Akamai主張從單一Use Case切入，先驗證ROI、延遲與治理，再逐步擴大部署。
企業AI的應用漸深，下一個挑戰是能否讓Agent長期穩定進入營運流程，持續產生可衡量的ROI將是下一個挑戰是。數據立解決方案顧問包威棣指出，該公司以AltaBots.ai作為企業級AI Agent核心運行平台，協助企業以No Code方式快速搭建AI數位員工，並支援私有化部署、權限控管、日誌紀錄、成本上限、LLM彈性選擇與內部系統串接。
實際應用場景涵蓋門市AI知識助手、新人AI培訓教練、生產技術助教、AI報價自動化、數據AI助理、美妝AI客服與競品市場追蹤等，將企業知識、流程與數據轉化為可執行任務。以門市場景為例，Agent可整合商品、活動、SOP與抽成規則，讓店員即時查詢並取得一致答案；在報價場景中，Agent可串接E-mail、CRM與知識庫，協助業務完成資料防呆、工程通知、成本單建立與版本分流。
生成式AI應用快速擴散，企業關注的不只是哪一個模型或Agent最好用，更現實的問題是底層算力能否即時取得、成本是否可控，以及資料能否留在可管理的環境中。康斯特科技業務副總經理黃彥皓提到，企業若自建GPU機房，往往會面臨建置成本高、時程長、維運人才難找與GPU閒置率偏高等挑戰，因此AI算力應從一次性資本支出，轉向更彈性的服務化模式。
康斯特以AI基礎建設服務商定位，提供AIDC交鑰匙建置、GPU託管與租賃，以及Glows.ai雲端GPU平台三層服務，協助企業依需求選擇自有機房、託管或按分鐘計費的雲端算力。該公司也布局台灣、日本福島、美國內華達與馬來西亞等資料中心，其中日本福島採貨櫃式液冷機房，鎖定高密度GPU部署需求，強調PUE低於1.1、部署期約3個月，回應B200、GB200等下一代GPU對液冷與電力效率的要求。
Agentic AI走向數位員工 落地考驗任務與治理
除了專題演講，這次論壇也邀請中研院人工智慧創新應用專題中心執行長曹昱，以「2026全域應用賽局：從Agentic AI到推論經濟的商用標準化路徑」為題，與主持人工研院南分院智慧產業推動與應用整合組專案組長黃建智交換意見。
黃建智指出，近年企業面對AI發展速度，普遍出現「AI焦慮感」，一方面期待導入Agentic AI提升生產力，另一方面也擔心算力投資、資料治理與實際效益難以平衡。對此，中研院人工智慧創新應用專題中心執行長曹昱回應，AI正從人機協作走向「數位員工」階段，企業應先學習、理解再擁抱AI，就像當年Google普及後，會使用工具的人自然具備更強的工作能力。
談到商用落地，曹昱強調，企業導入AI前要先定義明確任務與效能指標，再依照成本、準確率與風險程度選擇模型與算力配置；例如一般影像辨識可採低成本模型，醫療影像則需要更高可靠度。黃建智進一步追問企業如何避免AI系統各自為政，曹昱指出，資料治理、模型版本管理與效能評估是基礎，其中資料格式統一尤其重要，否則跨部門資料難以整合。面向下一階段，他認為World Model與Edge Computing會是重要方向，前者讓AI理解真實世界運作，後者則讓模型能在工廠、醫療、物流等場域即時反應，形成更可商用的AI部署路徑。
