研華攜手群聯電子 打造更便利的AI模型微調解決方案 智慧應用 影音
Microchip
member

研華攜手群聯電子 打造更便利的AI模型微調解決方案

  • 林稼弘台北

研華科技攜手群聯電子,打造更便利的AI模型微調解決方案。研華科技
研華科技攜手群聯電子,打造更便利的AI模型微調解決方案。研華科技

生成式人工智慧(Generative AI;GenAI)的出現已讓 AI 助手在各個領域廣泛使用,包括製造業、商業環境、教育、醫療保健、法律和會計領域、銀行業。許多新的 AI 應用正在逐步出現。認識到這一趨勢,全球邊緣運算領導廠研華科技宣布與 NAND 控制器和 NAND 存儲解決方案領先供應商群聯合作,共同推出專為邊緣和工業應用量身定制的 GenAI 解決方案。整合現今AI應用做設計,讓企業導入AI可以省下大量成本,同時有更好的效能。

現今的AI 伺服器以GPU來進行AI運算,而GPU模組卡上的HBM記憶體(High Bandwidth Memory)容量則是影響整體AI運算效能以及AI模型參數大小的關鍵。群聯的aiDAPTIV+對AI模型運算進行架構的調整,通過其獨家的專利SSD技術整合GPU卡上的HBM記憶體,並將大型AI模型進行結構性拆分後,與SSD協同運行,使得在有限的GPU與DRAM資源下也能夠訓練大型的AI模型;更重要的是,群聯的aiDAPTIV+方案完整相容於現今市場上的所有主流的AI運算架構與GPU卡。

換言之,經過aiDAPTIV+架構調整後可以大幅降低AI基礎建設的硬體成本,並同時提高運算效率,並且在相同的AI模型微調訓練運算條件下,所需的整體電力較少,也符合當前減少能源消耗和碳足跡的環保趨勢。

以擁有700億個參數量的Llama2為例,僅需採用8顆輝達A6000的RTX顯卡驅動,搭配微調運算,中文AI模型的精準率可達92%,甚至台語、客語也都超過85%的精準率。進行成本則約落在150萬新台幣。這與動輒就需要千萬甚至上億的費用的解決方案相比,有助於AI的普及。效能上,平均也可以提升1.13倍

硬體的部分,SKY-602E3塔型伺服器,搭載AMD EPYC 8004 系列處理器,支援 4 個 PCIe 5.0 x16 雙槽全高/10.5吋 卡片,並可搭載2 個M.2 2280 PCIe 5.0 SSD,可以支援四張GPU卡與兩張Phison aiDAPTIV+ SSD 達成群聯的aiDAPTIV+ AI運算架構的最佳化。SKY-602E3在設計s也適用於多種環境,可安裝於桌面以便於存取,也可以安裝在牆面上以節省空間,或者有效地利用兩個單位裝入4U機架空間,展示其卓越的空間效率。這種適應性使得SKY-602E3成為各種AI領域操作環境的理想選擇。

HPC-7420+ASMB-807工業級伺服器,搭載Intel Xeon W系列處理器,DDR5 5600 MHz RDIMM,可支援3 槽PCIe 5.0 x16、1槽 PCIe 5.0 x8、2槽PCIe 4.0 x4,處理器最高更是可支援到Intel最高規格385W。搭配HPC-7420機箱,可於最佳解熱效能的環境下進行AI AOI的應用,協助工廠端產線效率提升,更精準的辨識產線上的各類瑕疵。

欲瞭解更多研華伺服器解決方案,請造訪官方網站

 


關鍵字
商情專輯-COMPUTEX 2024