LLM商機外溢 AI新創雨露均霑 智慧應用 影音
微軟DevDays
Event

LLM商機外溢 AI新創雨露均霑

  • 林佳楠台北

人工智慧(AI)熱潮因NVIDIA創辦人黃仁勳來台而再創高峰,供應鏈大廠和新創雨露均霑。COMPUTEX 2023展會中可看到AI新創遍地開花;有業者貼合大型語言模型(LLM)的趨勢推出客製化服務,也有業者善用GPU與AI晶片的差別優勢,開發影像辨識相關方案。

ChatGPT帶動生成式AI(Generative AI)熱潮,不僅GPU、伺服器代工業者受惠,軟體和資訊服務業者也感受到新一波商機湧現。

滿拓科技行銷長楊育明即表示,許多客戶盼擁有自己的語言模型,而非依賴ChatGPT,並希望成本在可控範圍。「對生成式AI有疑慮的階段已經過了,現在重點是要找誰做,」他說。團隊可運用台灣智慧雲端(台智雲)或其他業者開發的模型,開發相關解決方案,從雲端到邊緣、軟硬整合一站式部署。

台智雲日前宣布運用超級電腦台灣杉二號,建立出與GPT-3.5模型同級、且是台灣首個高達1,760億參數的福爾摩沙大模型。

楊育明表示,依據客戶需求,LLM可部署在台智雲的雲端伺服器、客戶私有雲、或邊緣裝置。現場攤位展示裝有賽靈思(Xilinx)FPGA板的電腦,機殼由艾訊製作。部署在此邊緣裝置端的模型參數量約130億。

滿拓科技行銷長楊育明表示,微型化的LLM可部署至邊緣電腦端。林佳楠攝

滿拓科技行銷長楊育明表示,微型化的LLM可部署至邊緣電腦端。林佳楠攝

然微軟(Microsoft)也提供Azure OpenAI服務,其他新創還有何機會?楊育明認為,「市場不會被一兩家公司所獨佔。」微軟的服務確實相當完整,但應會優先服務自家產品生態系,因此可為單一廠商客製化的程度有限,且並非所有企業都可接受微軟的價格。

楊育明觀察,零售、金融、教育、觀光、醫療等產業皆出現應用生成式AI的需求,許多企業也希望提升內部生產力工具的效率。他坦言,目前客戶端的需求已大於團隊可服務的能量。

另一方面,從陽明交大衍生的新創峻魁智慧,主打嵌入式AI技術開發、先進駕駛輔助系統(ADAS)應用,現場使用NVIDIA Orin裝置驗證影像辨識效果。

峻魁智慧營運長蘇培陞表示,團隊以軟體開發為主,可選擇NVIDIA GPU或其他晶片為客戶設計出最佳方案,例如也使用到芯鼎科技、耐能智慧、安霸(Ambarella)的晶片。

他分析,GPU功能強大,但價格和耗能也較高,在邊緣端的運算使用AI晶片較有效益。影像辨識一般會用到卷積神經網路(CNN)或Transformer模型,但目前並非所有晶片都可支援Transformer運算,軟體開發也會受到限制。

峻魁智慧比較GPU與AI晶片的優勢。林佳楠攝

峻魁智慧比較GPU與AI晶片的優勢。林佳楠攝

此外,時代基金會的新創加速器Garage+率領37家新創參展,其中許多團隊主打AI和數據分析技術,背景也相當多元。來自日本的Hacarus主打影像瑕疵檢測技術,來自南韓的Nearthlab發展無人載具相關軟體,皆有意開發台灣市場商機。

南韓新創Nearthlab開發無人載具相關AI軟體。林佳楠攝

南韓新創Nearthlab開發無人載具相關AI軟體。林佳楠攝

由義大利人和台灣人共同創立的Bubbleye,以AI演算法整合不同行銷和廣告平台的數據,特殊的團隊基因也讓他們快速打入國際市場。

台義混血新創Bubbleye以AI演算法整合不同行銷平台的數據,左為義大利籍執行長Stefano Roncari。林佳楠攝

台義混血新創Bubbleye以AI演算法整合不同行銷平台的數據,左為義大利籍執行長Stefano Roncari。林佳楠攝


責任編輯:毛履兆