布局可治理AI Agent IBM Bob打通落地最後一哩路
- DIGITIMES企劃
-
生成式AI應用逐漸深化，多數企業的需求已從回答問題、整理資料或生成文件，進化為讓AI進入既有流程、理解員工需求、調用正確系統、完成任務。台灣IBM Data & AI技術總監李維倫指出，近兩年Agent AI技術發展加速，其能力已逐漸接近一般企業實際可用的範圍。
李維倫表示，這正是IBM強調「從ASK到Agent」的著眼點。ASK類應用停留於「提問—回答」模式，適用於知識查詢、內部FAQ、客服初步回覆與文件摘要，作用止於提供資訊。不過企業對AI的需求已延伸至執行層面，以請假為例，Agent除說明流程外，還需判讀規則、查詢特休餘額、送出申請並通知職務代理，將指令轉化為完整任務。能否將需求付諸執行，正是Agent有別於ASK應用的關鍵。
這也是IBM這次強調「從ASK到Agent」的原因。過去ASK類應用停留在「能問」的階段，使用者提問、AI回答，適合知識查詢、內部FAQ、客服初步回覆與文件摘要。但企業期待的，已經不只是知道請假流程怎麼走—它們要的是AI直接幫員工把假請完：判讀規則、查詢餘額、送出申請，再通知職務代理。多出來的這層行動力與執行力，正是Agent真正的價值。
從PoC走向正式營運環境，落差遠大於外界預期。李維倫指出，實驗室階段可透過各種方式將資料送入模型，但在生產環境中，資料流必須轉為穩定、連續、可追蹤的工作流，企業隨之面臨資料孤島、資料時效與基礎架構整合等問題；且並非所有場景都須即時處理，與其追求Real Time，在適當時間提供正確資料的「適時」更具效益。
治理與控制則是另一道門檻，開源工具或一般AI Agent雖能快速建構功能，企業卻不會將核心流程交予無法控管的系統，生產環境須掌握AI的實際行為，同時防範其逾越權限，避免因失誤導致營運損失。
此外，法規與企業策略也構成限制：金融等高度監管產業的合規門檻較高，製造業上雲與系統整合的彈性雖相對較大，仍須配合既有的資安與IT架構。
為說明落地架構，李維倫以人體做比喻，一個完整的智能體須具備大腦、神經、記憶與肌肉。大腦對應watsonx Orchestrate，負責Agent之間的協作、意圖推論與流程編排，使用者以自然語言提出需求後，由其判斷應調用哪些工具、分派哪些Agent、執行哪些流程，為整套架構的控制中樞；神經系統對應Kafka／Confluent，IBM收購Confluent，即是著眼於AI對動態資料與即時上下文的依賴，企業知識若無法適時送達Agent，AI的判斷將停留於靜態資料層次；記憶層由DataStax與OpenRAG承擔，協助企業建立長期記憶、知識檢索與RAG架構，並處理知識主權與資料存放問題；IBM Bob則為這套智能體中的「肌肉」，負責任務的實際執行。
李維倫也特別提醒，多Agent架構若缺乏控制平面，恐衍生風險。一般做法是部署多個Agent分別負責讀信、排程、回信與摘要，形同一間虛擬辦公室；但若缺乏控管，負責收發信件的Agent一旦規則設定不全，遇大量廣告信可能逕自回覆，使企業帳號淪為垃圾信來源，並在短時間內耗用可觀的Token成本。他強調，關鍵不是增加Agent數量，而是強化治理能力，企業可利用watsonx Orchestrate做為控制平面，依任務將適當的工具指派給對應的Agent。
Bob的差異化主要體現於兩方面。其一為模型智慧路由，IBM針對金融、法規等特定領域推出小語言模型，Bob後端則以Model Router串接各家開源與閉源模型，依任務難度自動分流，簡易任務無須動用高成本模型，複雜任務再交由能力較強者處理；對大規模導入AI的企業而言，此一分流機制將直接反映於 Token成本。
其二為安全與合規的內建設計：當企業要求Bob建置一套部署於AWS、且將進入歐洲市場的系統，其背後不僅涉及程式開發，更牽動雲端安全架構與GDPR等法規要求，而IBM的Granite小語言模型與企業級架構已將安全與合規思維納入其中，成為Bob有別於一般AI Agent工具之處。
導入策略上，IBM 強調企業無須為導入AI而全面重寫舊系統：HR、採購、財務或內部營運系統即便仍運行於傳統架構，只要能開放API，即可透過watsonx Orchestrate封裝為Agent可調用的技能，使用者日後以瀏覽器或行動裝置，即能透過對話操作既有系統。李維倫指出，若既有系統已具備API，最快約三週即可將傳統應用轉化為AI賦能應用；若尚未開放API，則可讓Bob建置接口再行串接。
Bob的角色亦不止於對話，其可作為檔案助手、程式開發者、前端UI/UX設計工具，亦能扮演企業的規劃者。他強調，Bob從程式碼儲存庫（Repository）層級理解整體程式碼庫與企業標準，並透過記憶體壓縮與索引技術因應上下文長度限制，檔案匯入後自動切片，藉此掌握相對完整的軟體開發生命週期與合規要求。
李維倫最後表示，整體而言，企業AI Agent能否普及，關鍵在於務實條件：資料能否適時流動、流程能否編排、權限與成本能否控管，以及舊系統能否在不大幅改寫的前提下供AI調用。IBM透過watsonx Orchestrate與Bob，讓Agent順利進入日常營運，並在可控範圍內逐步擴展，以穩健方式提升運作效率，協助企業真正實現AI的應用價值。
