Skymizer推出突破性的大型語言模型(LLM)加速器IP 智慧應用 影音
Microchip
ST Microsite

Skymizer推出突破性的大型語言模型(LLM)加速器IP

  • 李佳玲台北

Skymizer於2024 Computex展前宣布推出其革命性的軟硬體協同設計的AI ASIC IP - EdgeThought(邊緣思維),專為在設備上加速大型語言模型(LLM)而設計。圖左至右為:Skymizer技術長兼創辦人唐文力、Skymizer執行長賴俊豪、Skymizer的營銷總監兼執行副總裁魏國章。Skymizer
Skymizer於2024 Computex展前宣布推出其革命性的軟硬體協同設計的AI ASIC IP - EdgeThought(邊緣思維),專為在設備上加速大型語言模型(LLM)而設計。圖左至右為:Skymizer技術長兼創辦人唐文力、Skymizer執行長賴俊豪、Skymizer的營銷總監兼執行副總裁魏國章。Skymizer

Skymizer作為編譯技術和優化解決方案的先驅,日前宣布推出其革命性的軟硬體協同設計的AI ASIC IP - EdgeThought(邊緣思維),專為在設備上加速大型語言模型(LLM)而設計。這一尖端創新利用了 Skymizer的先進編譯器技術,在計算、內存利用率、功率效率和成本效益方面樹立了新的產業標杆。

EdgeThought旨在提升各種邊緣設備中LLM應用程序的性能,從物聯網設備到汽車系統和AI個人電腦甚至是強大的Edge Server。通過編譯器為中心的設計優化理念,Skymizer的解決方案確保這些設備可以運行最先進的在設備上的各種LLM模型,包括Meta最新推出的Llama3 8B。

在COMPUTEX 2024展會期間,Skymizer也會在現場攤位進一步展示運用ET2等軟硬體解決方案打造出智慧工廠的AMR(自主移動機器人)、飲料店推薦系統與智慧汽車場景。誠摯邀請產業界先進至Skymizer Computex攤位參觀,攤位號碼:南港一館AI運算暨系統解決方案區M1433a

EdgeThought的主要技術亮點如下:

• 優化的編譯器技術:加速器核心是Skymizer的專有編譯器技術,可最大化硬體利用率和效率,即使在資源受限的邊緣設備上也能實現卓越的性能。

• 增强的計算和內存效率:協同設計方法最小化延遲並最大化吞吐量,同時減少內存佔用,允許在邊緣快速且可靠地進行LLM推理。

• 功率和成本效率:Skymizer的解決方案大大降低了部署高級人工智能模型的功耗和運營成本,使其成為尋求可持續擴展運營的企業理想選擇。

• 可擴展性和靈活性:設計支持多種LLM應用,加速器可根據不同尺寸和性能需求進行擴展,包括多用戶和多批次,以提高高效邊緣伺服器的吞吐量,為設備製造商和應用開發者提供前所未有的靈活性。

Skymizer的CEO Jim Lai表示,今天對於Skymizer和整個AI和邊緣計算行業來說都是一個重要的里程碑,我們的創新LLM加速器重新定義了邊緣AI性能的可能性,使其更加可及且具有成本效益。這次發布反映了Skymizer致力於推動技術邊界,為客戶賦能並豐富用戶體驗。”

憑藉十年的編譯器和虛擬化行業經驗,Skymizer專注於其擅長的領域來設計EdgeThought,使其成為專用於在設備上本地(on-device)推理任務的編譯器優化LLM ASIC IP。 EdgeThought消除了所有用於訓練的軟硬體需求,僅專注於推理,設計出同級最佳的on-device LLM推理引擎。

Symizer的營銷總監兼執行副總裁魏國章(William Wei)表示,如果Groq晶片是雲端LLM 推理之王,那麼EdgeThought將成為在設備上本地LLM推理的遊戲規則改變者。而且,EdgeThought 不需要最新的晶片製造工藝,它可以使用更便宜的成熟晶片類別和專用內存組件,這將在生成式人工智慧時代振興這些更便宜的內存產業。

EdgeThought IP現已開放授權,並且可以無需大規模修改即可集成到現有的硬體設置中。Skymizer已經開始與領先的半導體公司和設備製造商合作,將這一強大的技術推向市場。