生成式AI浪潮席捲全球 滿拓科技DeepExpert 平台降低企業GAI落地應用門檻 智慧應用 影音
Vishay
Harting

生成式AI浪潮席捲全球 滿拓科技DeepExpert 平台降低企業GAI落地應用門檻

  • 林佩瑩台北

滿拓科技銷總監楊育明(左)及執行長吳昕益(右)。DIGITIMES攝
滿拓科技銷總監楊育明(左)及執行長吳昕益(右)。DIGITIMES攝

2022年底問世的ChatGPT,讓全球見識到生成式AI無所不能的強大威力,也催生一波AI 2.0革命。生成式AI是以大語言模型為核心,針對AI模型進行大量資料訓練,如ChatGPT採用的GPT 3模型參數量為1,750億、GPT 3.5模型參數量為2,000億。目前市面上除了Open AI及台智雲的FFM等海內外業者推出的付費的商用模型外,也有不少開源大語言模型,如Hugging Face的BLOOM模型、Meta的llama 2等,都是具備70~1,760億個參數的大語言模型,且能合法運用在商業環境之中。

無論企業是使用商業授權、免費開源的大語言模型,搭配公司專屬資料進行訓練後,即可運用在AI智能客服、程式碼撰寫輔助、提升企業資訊使用效益等多個面向之中,有相當大的潛力能大幅提升企業生產力及產業競爭力。所以市面上有不少號稱可提供生成式AI專案導入協助的業者,不過真正已經投入相關專案的企業並不多,多數仍處於觀望態度。

滿拓科技行銷長楊育明指出,儘管企業對生成式AI需求殷切、急需及早布局提升產業競爭力,但仍然猶豫不決的三大原因,分別是機密資安考量、導入成本高昂、AI技術人才不足。在全球瘋搶AI人才的狀況下,即便企業有意推動生成式AI專案,泰半都處於不知道從何著手的狀態。

其次,多數業者都是在雲端平台提供生成式AI服務,企業擔心資料上傳後,可能發生機密資料外洩的狀況。最後,在雲端平台進行AI模型訓練的每次費用動輒數十甚至百萬以上,且多數模型訓練得進行3~5次才能獲得符合企業需求的專屬模型,價格不斐的AI專案費用也令企業卻步。

專為生成式AI量身設計 雲端版或落地於企業內部使用,大幅縮短專案成本與時間

綜合前述三大因素,目前僅有少數大型企業有足夠人才、資金,可一次投資千萬費用購買AI伺服器,在公司內部執行滿足AI模型訓練、推論等專案。多數中型企業往往只能望而興嘆,更遑論預算、人力有限的中小企業。

為協助更多企業、研究中心、學校等進入生成式AI領域,滿拓科技推出專為生成式AI專案設計的軟硬體整合方案-Mentor series(入門款到進階款)。客戶可選擇在Mentor Series硬體上進行不同等級的大語言模型(請見下圖)全參數訓練,滿拓會協助客戶確認訓練結果於實際應用需求。

以入門款的Mentor-100為例, Mentor-100是與工業電腦大廠艾訊科技合作,打造安靜省電、辦公室專用的軟硬體架構最優化的小型邊緣運算AI伺服器,搭配預載滿拓科技GAI應用套裝軟體DeepExpertTM中的FinetuneExpert訓練軟體及搭配顧問訓練輔導課程,讓各種不同領域的企業或各級單位容易地導入內部各種應用需求。

滿拓科技執行長吳昕益認為,以7B、13B參數的大語言模型進行推論,是推動AI專案的重要步驟。首先,即便中大型企業預算充足,若沒有任何數據佐證,也不容易爭取到千萬以上的專案預算。而Mentor-100解決方案高CP值的優惠價,非常適合企業在公司內部,執行小規模的前期概念驗證。對於學校、研究單位、中小企業來說,若運用情境較為簡單,又或者僅是想要進行概念驗證,7B、13B、33B參數的大語言模型也足敷使用,不一定需要使用176B參數的大語言模型。

值得一提,由於滿拓科技是少數專注提供生成式AI解決方案的業者,且有相當不錯的成績,所以當國科會公布以繁體中文為核心的台灣大語言模型-TAIDE計畫時,滿拓科技也為少數獲得邀請參與測試及推廣的公司之一。

6大應用情境 加速推動生成式AI

滿拓科技推出的GAI應用套裝軟體DeepExpertTM解決方案有兩大特色,首先可依照企業需求,選擇搭載Meta Lama2等不同類型及參數的開源模型,或者可選擇透過滿拓科技,取得合作夥伴台智雲授權,使用預先完成繁體中文語料訓練的台智雲福爾摩沙大語言模型。

其次,在硬體架構部分,獨家與群聯合作,使用群聯專為GAI訓練打造的NVME模組,可突破現行GPU卡的記憶體容量限制,無需使用昂貴的NVIDIA A100/H100晶片,僅需兩張NVIDIA RTX A4000-ada GPU卡,,即可進行AI模型的訓練。因此,整體費用可以大幅降低,所以即便是預算有限的中小企業或學術單位,也可以加速啟動生成式AI專案,大約兩週以內就可看到訓練成果。

楊育明指出,除提供DeepExpertTM解決方案之外,滿拓科技針對六種常見應用情境,推出預先完成優化的AI應用模組,如 DocumentExpert、Code Expert、 CustomerServiceExpert 、MeetingExpert、ImageExpert、FineTuneExpert等。搭配自行研發、易於使用的No Code工具,助企業快速與自有的資料進行結合,進行專屬領域的AI模型訓練與推論工作。因此,截至目前為止,已有政府單位、金融、上市櫃IC 設計公司、知名傳統產業、零售業者等,正與我們進行POB測試,驗證DeepExpertTM的一站式GAI落地解決方案的高超能力。

從2018年開始,滿拓科技即開始與TTA合作,參與多項媒合會、技術發表會等,對於拓展公司知名度、爭取VC投資等帶來很大幫助。未來,也希望能與TTA保持近密和合作關係,為進軍海外市場奠定穩健的基礎。

圖說2:滿拓科技企業級生成式AI落地解決方案。滿拓科技