Skymizer正式推出ET2矽智財方案 以軟硬體平台方案為LLM打造更多想像 智慧應用 影音
Blue Yonder活動
Dwebinar1106

Skymizer正式推出ET2矽智財方案 以軟硬體平台方案為LLM打造更多想像

  • 李佳玲台北

Skymizer除了提供LLM矽智財方案外,也提供SkyGenie SDK,支援不同類別的LLM,讓AI應用的開發者更容易快速開發應用,讓硬體晶片合作夥伴能達到更高的整合度且更能貼近市場需求。Skymizer
Skymizer除了提供LLM矽智財方案外,也提供SkyGenie SDK,支援不同類別的LLM,讓AI應用的開發者更容易快速開發應用,讓硬體晶片合作夥伴能達到更高的整合度且更能貼近市場需求。Skymizer

Skymizer自向產業界宣誓進軍LLM(大型語言模型)矽智財市場後,近期宣布一系列以LLM矽智財為核心的軟硬體解決方案,希望能為LLM應用服務市場帶來更多想像空間。Skymizer的矽智財系列方案代號為EdgeThought(邊緣思維),其第一款推向市場的解決方案代號為ET2,它可以有效率地處理目前市面所有邊緣裝置所需要的LLM,也包括了近期所發布的Llama3,其參數規模高達80億。

Skymizer在推出矽智財方案前,主要的解決方案為編譯器業者,扮演晶片與軟體之間的橋樑角色,也因此對於整體系統軟硬體整合優化上擁有相當豐富的經驗,而隨著LLM需求水漲船高,同時也基於Skymizer擁有厚實的市場基礎下,所以也進軍矽智財市場,進一步來因應多元垂直應用的市場需求。

Skymizer執行副總魏國章。Skymizer

Skymizer執行副總魏國章。Skymizer

推出軟硬整合平台 ET2具備邊緣運算、LLM與AI推論三大元素

Skymizer執行副總魏國章表示,ET2基本上有三大基本元素:聚焦邊緣運算、LLM與AI推論,除了可以因應目前市場多種的LLM外,因應客戶需求,也能彈性擴充運算資源,若要處理的LLM的參數規模太大,那就藉由擴充方式來達到所需的算力等級,當然,所需要的記憶體容量與電力消耗,自然也會有所提升。

除了既有的矽智財方案外,Skymizer也推出SDK(軟體開發套件)SkyGenie,它能因應通用、領域與私人等不同類別的LLM,藉此可以協助不同的產業應用,讓軟體業者能基於不同的LLM類型開發出相應的應用程式,藉此讓整體系統的使用情境能達到最佳化的表現。

在COMPUTEX 2024展會期間,Skymizer也會在現場攤位進一步展示運用ET2等軟硬體解決方案打造出智慧工廠的AMR(自主移動機器人)、飲料店推薦系統與智慧汽車場景。誠摯邀請產業界先進至Skymizer Computex攤位參觀,攤位號碼:南港一館 AI運算暨系統解決方案區M1433a。

魏國章強調,正因為Skymizer擁有完整的軟硬體系統開發經驗,所以除了矽智財方案外,透過SDK的提供,藉此讓廣大的科技產業生態系統都能享受到Skymizer完整的軟硬體平台方案所帶來的益處。他也透露,目前市場所能看到的Edge AI GPU,其性能約莫在20 tokens /s左右,而Skymizer目前對於ET2的測試數據則在32 tokens /s上下,但導入成本卻只有Edge AI GPU的1/00,這對於成本敏感的終端應用來說,ET2具備極高的性價比,無異是相當理想的選擇。

搭載ET2方案首款晶片 將於CES 2025面市

所以現階段在半導體領域,魏國章也不諱言,Skymizer目前是抱持開放心態與國內外的設計服務、矽智財等業者正展開積極的合作。他更透露,ET2的擴充性非常高,小從IoT MCU,大到高性能Edge Server,尤其如搭配更高頻寬等級的記憶體介面,可以做到多人多批次的伺服器等級的推論引擎。預計第一款採用ET2的晶片,將於CES 2025面市,也因此,Skymizer將ET2形容為邊緣裝置LLM推論的遊戲規則改變者。

結論

Skymizer正式推出第一款矽智財方案ET2,意味著該公司正式進入全新的里程碑,透過豐富的軟硬體系統整合經驗,Skymizer不僅提供了高效能且具成本效益的邊緣運算解決方案,還透過SkyGenie SDK為開發者提供了強大的工具,以對應多樣化的LLM應用需求。這些創新不僅提升了不同垂直市場的應用表現,還為智慧工廠、自主移動機器人、智慧汽車等領域帶來了更多的可能性。Skymizer的全方位軟硬體平台方案,無疑將成為未來LLM應用市場的重要推動力量。想要了解更多Skymizer提供的解決方案,請至Skymizer官網查詢。

議題精選-COMPUTEX 2024