台智雲打造多種開源可信賴模型 全球首款繁體中文優化版FFM-Llama 2開源模型亮相 智慧應用 影音
Vishay
Event

台智雲打造多種開源可信賴模型 全球首款繁體中文優化版FFM-Llama 2開源模型亮相

  • 林佩瑩台北

資策會副執行長楊仁達(左起)、華碩雲端暨台智雲總經理吳漢章、人工智慧科技基金會執行長溫怡玲,一起出席支持「可信賴AI技術論壇系列」,首部曲以「可控的開源大型語言模型」為主軸展開精采分享。台智雲

資策會副執行長楊仁達(左起)、華碩雲端暨台智雲總經理吳漢章、人工智慧科技基金會執行長溫怡玲,一起出席支持「可信賴AI技術論壇系列」,首部曲以「可控的開源大型語言模型」為主軸展開精采分享。台智雲

台智雲為提供企業安心無虞、高彈性效率和經濟自主的生成式AI開發解決方案,特別舉辦「可信賴AI技術論壇系列」。9月21日首部曲以「可控的開源大型語言模型」為主軸,邀請專家分享生成式AI的最新趨勢、開源大語言模型帶來的技術和應用效益。並在當天發表全球第一個繁體中文優化版FFM-Llama 2開源模型,同時展示五大主題攤位,打造可信賴、可掌控、普惠的生成式AI生態。

五大主題攤位中,包含全球首推繁中優化的「FFM-Llama 2(70B/13B/7B)全系列」,及多種可信賴開源模型的企業級生成式AI服務,提供企業LLM(Large Language Model)自主權。而為滿足多種應用場景需求,台智雲更將多模型整合至「四大生成式AI開發產品」。

此外,推出資安和軟硬兼顧的「私有雲地端部署方案」,從華碩地端GPU Server到透過GPTQ 4-bit高性能壓縮技術將LLM放至「AI PC」。也將「Code Llama」開源模型整合至AFS(AI Foundry Service),為程式開發者提供更優質的作業環境。另外展示華碩雲端結合雲端空間和 LLM 的優勢,打造輔助企業加速生產力、優化工作型態的「第二大腦 xBrain」。

華碩雲端暨台智雲總經理吳漢章表示台智雲以開放模式提供大語言模型和工具平台,大幅降低企業進入門檻,實現普惠AI、發展以人為本的智慧科技。台智雲

華碩雲端暨台智雲總經理吳漢章表示台智雲以開放模式提供大語言模型和工具平台,大幅降低企業進入門檻,實現普惠AI、發展以人為本的智慧科技。台智雲

華碩雲端暨台智雲總經理吳漢章說,在AI浪潮席捲全球下,儘管加快企業帶動「可信賴AI」、「普惠AI」、「永續AI」等議題。我們一直在思考推出更多創新雲端服務,2023年推出台灣首款福爾摩沙大模型(Formosa Foundation Model;FFM),讓台灣企業能享受到大語言模型種種優勢。我們在推廣LLM應用範疇外,也持續擴充FFM開源模型,期待吸引更多合作夥伴加入。

資策會副執行長楊仁達表示,AI變化速度非常快,應用面愈來愈廣泛且深入。企業在推動AI成功關鍵在核心模型,若沒有選好,可能就得重新再來過。每家企業擁有的資料與需求迥異,要獨力完成AI模型導入與訓練的難度很高,勢必需要仰賴外部專家團隊協助,台智雲是台灣唯一提供LLM模型的業者,是企業導入生成式AI的最佳夥伴。

人工智慧科技基金會執行長溫怡玲說, 2021年AI與資安技術融合,強化偵測惡意威脅的能力。現今AI在日常生活中隨處可見,也讓可信賴AI議題備受關注,而台灣擁有被國際信任的優勢,應善用此優勢,建立對話分享的交流機制,以展現在AI領域的強大實力。未來仍持續與台智雲全力攜手合作為台灣打造可信任的AI生態系。

開源LLM優勢多 實現可信賴AI首選

生成式AI結合LLM的強大能力,讓「可信賴AI」成為各方焦點。市面上開源LLM模型愈來愈多,可望讓企業享有「資料隱私與節省經費」、「安全」、「聚焦任務」、「程式碼透明」等優勢,且有眾多活躍開發社群扮演後盾,不用擔心被商用LLM綁定。

因此,在發表首款FFM後,台智雲持續導入開源大語言模型,提供企業更多元的選擇,如在AFS的預訓練模型庫中,除了原本的FFM-Bloom,更加入FFM-Llama 2、Embedding和原生的Meta Llama 2等開源模型。

吳漢章說,全新推出的繁中優化FFM-Llama 2(70B/13B/7B)全系列,企業可依照應用情境、預算等,選擇合適的模型種類,輕鬆提升工作效率。未來,台智雲也會陸續上線與更多夥伴開發的基礎模型與模型壓縮功能,為企業提供多元化AI服務。

資策會軟體院AI工程技術中心副主任劉文山解釋:「建議導入生成式AI過程中採用80/20法則,80%簡單規律化工作可由AI完成,20%複雜工作由人負責執行,藉此累積案例與資料為下一階段做準備。」

人工智慧科技基金會首席資料科學家蔡源鴻指出,LLM問世後,正重塑工作方式與AI應用模式,從根本上改為人機協作、提升效率,企業應該審慎思考後續導入與應用方向。

可信任AI受關注 開源LLM滿足企業期待

以ChatGPT一炮而紅的OpenAI,其LLM應該是知名度最高的產品,不過在全球各組織、開源社群努力下,也有功能豪不遜色的BLOOM、Llama 2等開源LLM。開源LLM在滿足商業應用需求外,也讓企業擁有模型的自主權,並享有部署在地端、雲端上的彈性。

台智雲技術長陳忠誠說,Meta Llama 2堪比ChatGPT 3.5,但繁中能力表現並不理想。台智雲的繁中優化FFM-Llama 2,在保有原生Llama 2優異的回應方式和能力外,更訴求企業可享受中文回答問題的優點。而供企業自主選擇的多模型,則滿足自然語言處理、文本生成、Code生成等不同需求。

台智雲推出全球第一個繁中FFM-Llama 2大語言模型開源模組,保留原生Llama 2優異對話水準並用在地化中。台智雲

台智雲推出全球第一個繁中FFM-Llama 2大語言模型開源模組,保留原生Llama 2優異對話水準並用在地化中。台智雲

解決人力、資源不足 台智雲企業級生成式AI解決方案備受期待

在AI人才不足、資源有限的狀況下,企業要自行打造AI模型的難度慎高。為此,台智雲在強大AIHPC運算能力基礎下,推出獨步市場的AFS一站式解決方案,協助企業隨時訓練、調整和建立專屬的LLM。企業可運用AFS Platform,將欲整合的企業專業知識做fine-tune產生專屬模型,訓練完更可以直接放在AFS Cloud做雲端推論服務,或是AFS Appliance放在地端自有機房中。

台智雲總工程師趙逢毅指出,台智雲提供的FFM Llama 2-7B模型在特定領域有良好的表現,13B能產生知識頓悟,適合地端推論及應用。至於FFM Bloom-70B、176B則擁有跨語言能力和多語言背景,能滿足新應用機會的各種下游任務。

因應市場對生成式AI的強大需求,台智雲的生成式AI 四大服務:CCS、AFS、HPC、OneAI,更是企業生成式AI創新的最佳可信賴AI夥伴。

更多有關「可信賴AI技術論壇系列」完整內容請見官網