生成式AI加快企業部署 商用落地考驗跨層整合能力
- DIGITIMES企劃
-
生成式AI進入實際部署階段，企業面對的問題已不僅是模型能力，還包括算力成本、資料隱私、邊緣端效能與軟硬體整合。實體AI與具身智慧加快進入智慧產線、半導體供應鏈及終端裝置，也使地端推論與算力自主成為技術布局重點。為協助業界掌握應用路徑，DIGITIMES特於7月17日舉辦「2026 GenAI技術論壇—從模型創新邁向商用落地」，邀請產學研專家剖析晶片架構、模型優化、記憶體整合、工業邊緣應用與企業AI落地。
自主AI走向企業實作 平台治理與產業應用同步推進
生成式AI應用已超出內容生成與單次問答，具備長鏈推理、任務規劃及工具調用能力的Agentic AI，正加快進入企業場域。DIGITIMES整合行銷處處長陳毅斌在開場表示，AI能力可分為對話、推理、自主、創新及組織五個層次，其中對話AI與推理AI已相對成熟，自主AI則在生成式模型基礎上加入規劃、決策、工具使用及跨系統執行能力，讓AI能主動完成多步驟任務。
2026年產業發展已進入自主AI實際導入階段，包括Anthropic、OpenAI、Google、Microsoft及AWS等業者均投入相關布局。後續的創新AI將強調自主研發、科學發現及新知識產出，組織AI則希望透過多個AI Agent協同運作，承擔組織層級的決策與執行；不過這兩個階段目前仍屬產業推測，尚未有業者真正實現。
實體AI要在邊緣端理解環境並採取行動，模型須同時處理物件、場景關係、行為與語意，並壓低運算負擔。中央研究院資訊科學研究所所長廖弘源指出，中研院團隊開發的YOLOv7與YOLOv9具備輕量、開源及即時辨識特性，已用於智慧監控、無人機及交通號誌控制。
不過，傳統YOLO主要負責物件偵測與影像分割，若要讓使用者與影像對話，還須建立物件關係，將場景圖轉為語言模型可理解的Token。團隊也以通用動作空間發展行為分析模型，將老鼠疼痛辨識率提升至73%；用於Tau22阿茲海默症小鼠時，辨識率達91.8%，可較傳統行為檢測提早約10週發現異常。未來將整合視覺、語音辨識與語音合成，支援居家照護等邊緣應用。
AI基礎設施的效能瓶頸已不只在GPU，模型載入、KV Cache與長上下文造成的記憶體壓力，也直接影響推論速度與成本。群聯電子技術長林緯提到，群聯2023年推出aiDAPTIV異質記憶體整合技術，讓NAND Flash參與AI運算，負責大型模型載入、DRAM卸載、KV Cache儲存與AI資料管理，以較低成本擴充記憶體容量。
實測顯示，將AI Agent的預載知識壓縮後存入NAND Flash，即使使用較低算力設備，仍可縮短回應時間；在特定配置下，同一GPU伺服器可支援的並行使用者最多提高5倍。面對GPU、NPU及ASIC等異質晶片並存，群聯也建構AI Data Platform，整合算力、記憶體、儲存及資源調度，支援邊緣裝置、工作站、伺服器與叢集部署。
AI代理已能自主拆解任務、調用工具並反覆修正，但企業真正面對的是結果一致性、權限控管與大規模維運。台達研究院研發副理陳鴻元指出，通用程式開發代理偏重動態探索，每次執行路徑可能不同，也伴隨較高延遲與詞元成本；企業代理則須把系統能力封裝為可重複使用的技能模組，並將標準作業流程（SOP）與領域知識固化為工作流程，由知識層提供事實，平台負責權限、稽核、觀測與評測。台達據此開發CHEK企業知識平台，以檢索增強生成（RAG）為核心，整合文件解析、光學字元辨識（OCR）、混合檢索、重排序模型及引用溯源，並發展為知識代理。
透過模型情境協定（MCP），CHEK可讓PowerPoint、Word及其他代理調用企業知識，進行簡報生成、跨知識庫規格比較與商業智慧（BI）查詢，形成可管理、可擴充的企業代理系統。
主權AI能否落地，取決於算力、資料、模型與部署環境能否由國內掌握，並提供企業容易使用的開發工具。國研院國網中心大語言模型平台服務組技術總監林昀德表示，TAIWAN AI RAP整合國家級GPU／HPC算力、TWAREN高速網路與PB級儲存，串接TAIDE及國際開源模型，讓資料與模型轉為可上線服務。平台提供低程式碼流程設計、多模型API、RAG、SSO，以及模型微調與評估自動化，目前可調度Intel、AMD與NVIDIA共473顆GPU，供應87個模型。試營運期間已有103個單位使用，涵蓋急診交班、智慧客服、會議紀錄及教育等25個領域。完成PoC後，使用者可移植至自選雲端、算力聯盟夥伴或地端環境，協助資服業、新創及中小企業發展在地AI服務。
生成式AI部署正走向雲地混合，企業須依資料敏感度、工作負載、延遲與成本，決定模型及算力的配置位置。陽明交大人工智慧系統檢測中心教授陳添福提到，雲端具備彈性擴充優勢，地端則可掌握資料與設備即時資訊；系統還須透過模型路由選擇合適模型，並在資料源頭過濾、壓縮內容，控制Agent迴圈及Token成本。
其團隊開發myPDA Industrial Agent，採三層雲地整合架構，串接混合LLM服務、部門級地端設備、企業私有雲及MES／ERP，並以Kortex Runtime管理技能、工具、記憶、權限與稽核。實際案例中，產線異常分析準確率由75%提升至95%，產品選型與報價時間縮短逾10倍，使一次性PoC可沉澱為可驗證、可重用的企業能力。
醫療器材取得上市許可後，監管工作仍須持續蒐集召回、不良事件與市場訊號，資料分散及法規語言複雜，使風險判讀高度依賴人工。格萊迪科技執行長孔政皓指出，該公司將Salesmap累積的自然語言處理、文件解析、知識管理與AI搜尋能力，轉用於PMS Intelligence上市後監控平台，整合FDA Recall、FDA MAUDE及TFDA等資料，進行語意分析、風險關聯比對與儀表板監控。
導入難點包括PDF、Excel、Word與HTML格式不一、法規術語艱澀，以及AI幻覺與使用者信任。系統因此由AI負責搜尋、整理及分析，法規人員審核真實性、關聯性並作成決策，同時保留原始資料引用。實際導入後，文書整理時間降低80%，AI語意分析準確率達88%，MDR欄位映射準確率達95%。
AI落地進入系統工程 算力、資料與實體設備協同運作
AI算力需求約每7個月增加一倍，單一晶片受面積與功耗限制，運算架構已擴展至先進封裝、高速互連及資料中心級系統工程。聯發科技企業策略與前瞻技術資深處長梁伯嵩博士表示，AI可用七層架構理解：底層包括實體晶片與基礎設施，中間涵蓋神經網路參數及Context Memory，上層則是Agent、協作編排與應用。Transformer與Scaling Law推升訓練規模後，競爭已不能只看製程或單顆GPU，還要處理記憶體、Scale-up與Scale-out網路、能源及散熱。
模型能力也不只來自訓練，Context Engineering可整理知識，Harness Engineering透過工具與Guardrails擴充能力，Loop Engineering則讓AI反覆規劃、執行及檢查，再以多Agent Orchestration完成複雜任務。
企業導入生成式AI，常受資料不能上雲、Token成本、法規稽核與服務中斷風險牽制，模型能力只是其中一環。威聯通科技資深智慧儲存產品經理林子軒提到，QNAP將NAS擴充為全棧式Edge AI平台，整合硬體、Container／VM部署、AI Service Center與應用層，讓模型、資料及Agent留在企業內部。
AI Service Center可統一管理本地與雲端模型、GPU、應用路由及全鏈路Log，並以PII Guard遮蔽個資；本地模型涵蓋1B至120B以上規模，可依GPU VRAM切換。應用端則透過Qsirch AI進行圖片、影片與文件的多模態語意搜尋，RAG把SOP轉成可追溯來源的知識庫，QuAgent則可執行檔案整理及NAS管理，在保留資料主權的同時，降低對單一雲端模型與API的依賴。
智慧工廠部署AI後，成本重心已由一次性的GPU採購轉向推論吞吐量、延遲、Token單價與服務水準；預估2030年推論將占AI算力逾5成。數位無限商務長陳立昕表示，企業常面臨GPU買不起、用不好及難變現三項問題，平均利用率可能僅約30%。數位無限以AI-Stack將地端、混合雲與公有雲的GPU、NPU等異質算力池化，支援虛擬切割、多卡聚合、跨節點運算、多租戶隔離與工作負載排程，使訓練、推論及研發任務可依需求調度，利用率可提升至90%以上。其ixCSP平台再將閒置算力封裝為GaaS、MaaS及TaaS，透過按時、按量或Token計費對內攤銷或對外營運。對智慧工廠而言，敏感資料可留在地端，尖峰需求再擴至雲端，兼顧即時性、成本與算力供給。
實體AI走進製造現場，首先面對設備介面封閉，以及AI開發者與機器人工程師之間的技術斷層。台灣發那科工程師林冠甫指出，缺工、少量多樣與快速換線需求，使工業機器人必須具備更彈性的感知與控制能力。FANUC Open Platform先將ROBOGUIDE與NVIDIA Isaac Sim整合，讓開發者在具物理效果的虛擬環境中進行機器學習、強化學習及自動化設備測試，確認後再部署至實機。
控制端則提供官方ROS 2 Driver、Python執行環境與API，使外部相機、感測器及生成式AI可直接控制機器人；展示案例已能以語音下達任務，由AI即時生成Python程式，完成擲骰、辨識點數與分類。Stream Motion另以最高1毫秒通訊週期接收外部指令，配合3D視覺追蹤移動工件，支援路徑調整與彈性製造。
AI訓練效能不只取決於GPU，資料湖若無法持續供應海量影像、文字與小檔案，昂貴算力仍會因等待I/O而閒置。Apache Ozone PMC Member李仲恩、李緒成點出，AI資料約8成屬非結構化內容，傳統檔案系統容易因中繼資料過載失去擴充性；一般S3物件儲存雖能水平擴充，目錄重新命名實際執行Copy＋Delete，也可能拖慢Spark與Iceberg作業。
Apache Ozone同時原生支援S3 API與HDFS協定，保留目錄操作能力，也能承載大規模物件資料，讓Spark、Flink及PyTorch等既有工作負載免改程式遷移。其架構將Metadata分由OM與SCM管理，並以Container為單位回報，降低大叢集維運負擔。滴滴已用Ozone儲存百億筆物件，蝦皮與CERN也投入部署，可支援資料清洗、模型Checkpoint、模型載入及KV Cache等AI工作負載。
開源AI進入企業核心 考驗治理、人才與工作流能力
除了專題演講，此次論壇的焦點對談，也邀請到勤業眾信資深執行副總經理溫紹羣、Apache Taipei發起人蔡嘉平、Apache Airflow Committer劉哲佑、李唯，以「免費工具到企業護城河：以開源思維驅動AI變現與人才佈局」為題，交換意見。
主持人簡永昌提到，開源模型加快技術迭代，也讓企業更容易以較低成本試驗AI，但能否形成競爭優勢，仍取決於問題選擇、治理能力與人才累積。對此，勤業眾信資深執行副總經理溫紹羣指出，企業無須追逐最強模型，應依業務需求選擇適當工具，並以投資報酬率檢驗成果；導入初期可讓開源與商用方案並行，再整合為AI中台，將任務拆解為技能，區分人類與虛擬員工的分工。
若開源進入核心系統，還須評估總持有成本、資安、合規、維運能力及備援機制。Apache Taipei發起人蔡嘉平則認為，開源本身沒有必然的安全結論，重點在於專案是否具備成熟治理、多家企業參與及持續維護能力。台灣企業若等技術成熟後才尋找人才，成本通常更高；及早投入社群，可培養工程師、累積影響力，也能參與自身依賴技術的發展。AI生成程式碼仍須經過專業審查，避免授權、品質及技術債問題。
生成式AI降低了流程自動化的開發門檻，也讓工作流管理成為Agent進入企業系統的重要控制層。Apache Airflow Committer劉哲佑表示，Airflow可將模型調校、資料處理、內容生成及系統操作編排成Agentic Workflow，並透過Common AI Provider串接AI框架、Agent Skills與MCP，由控制平面負責排程執行。
企業導入時常遇到兩項問題：使用者雖能以SDK組合Pipeline，卻未必符合最佳實務；大量工作流同時運行後，控制平面也需要熟悉Airflow內部機制的人員調校。李唯補充，Airflow正加入AI-Native設計，在流程節點保留人工審核，並允許任務反覆調整至結果符合要求。AI雖能協助產生程式與工作流，半導體等高度重視效能與穩定度的場域，仍須資深工程師處理底層程式及系統問題。
