DEEPX執行長Lokwon Kim:打造讓每個人都能使用的AI晶片 智慧應用 影音
DForum0809
ST Microsite

DEEPX執行長Lokwon Kim:打造讓每個人都能使用的AI晶片

  • 范菩盈台北

DEEPX贏得三項2024 CES創新獎。DEEPX
DEEPX贏得三項2024 CES創新獎。DEEPX

AI在生活中的應用愈來愈廣泛,隨著生成式AI大語言模型的迭代出新,各種創新應用也更加蓬勃多元地在人們生活周遭出現,從各種智慧家電、無人載具、機器人到VR/AR應用等。這些搭載AI處理器的邊緣裝置可以直接就地運算並獲得結果,更加速Edge AI創新應用的推出。然而這些裝置在發展上卻也面臨不少挑戰,包括GPU能耗過大影響續航力,且高昂的成本也使得邊緣AI(Edge AI)產品的普及受到限制。

來自南韓的AI晶片新創公司DEEPX,以其獨特的AI晶片超間隙源技術在2024年1月的2024 CES展拿下3項創新奬:嵌入式技術、機器人、電腦硬體與元件。他們所研發的神經網路處理器(Neural Processing Units, NPU)不僅擁有低能耗以及具備經濟效益等優點,更解決市面上既有NPU精準度不足的問題。這項技術在2024 CES展期間受到許多半導體業者的認可,同時也計畫在2024年底上市推出。

DEEPX執行長Lokwon Kim。DEEPX。

DEEPX執行長Lokwon Kim。DEEPX。

DEEPX的目標是成為世界領先的On-device AI晶片公司。DEEPX

DEEPX的目標是成為世界領先的On-device AI晶片公司。DEEPX

DEEPX執行長Lokwon Kim。DEEPX

DEEPX執行長Lokwon Kim。DEEPX

師法Arm 帶領DEEPX成為業界領先的裝置AI晶片公司

「AI時代的主要戰場將轉移到『邊緣』,正如同Arm主導智慧型手機的CPU市場一樣,AI市場將由稱霸邊緣市場的半導體公司來主導,」DEEPX執行長Lokwon Kim說。

Lokwon Kim過去曾是蘋果電腦應用處理器(AP)設計的資深研究員,在Broadcom、Cisco和IBM T.J Watson等知名企業累積豐富的半導體設計經驗後,回到南韓創立DEEPX。他的目標是將DEEPX打造成業界領先的裝置端AI(On-device AI)晶片公司,就像Arm憑藉其低功耗技術革新了CPU市場一樣。

裝置端AI晶片是一個新興領域,它是在行動裝置內直接處理訊息而無需連接到伺服器或雲端。Arm以其高效、低功耗的處理器打破Intel在CPU市場的主導地位,這些處理器在智慧型手機中有極高的市佔,並正逐漸擴展到個人電腦和伺服器領域。Lokwon Kim期望DEEPX在AI半導體產業也能產生類似的影響力。

談到南韓半導體產業,Lokwon Kim指出南韓半導體生態系中尤其在系統半導體方面略有不足之處。台積電創辦人張忠謀在美國半導體大廠德州儀器學成後,回到台灣創立了業界領先的晶圓代工廠,受到張忠謀的啟發,Kim也看見了能滿足南韓市場所欠缺部分的商機。

張忠謀當時預測半導體市場將以需求為導向,因此創立了以晶圓代工製造為主的台積電。同樣地,Kim認為AI半導體市場走向開放,將開創更多創新成長的機會。

不走專用 而是讓每個人都能使用的AI晶片

Kim反對透過策略性投資壟斷AI半導體技術,這些策略性投資通常會導致兼併、收購或形成聯盟,最終使得技術由單一個體所控制。過去在蘋果的經歷促使他去倡導更民主、更可以被存取使用的AI半導體技術,Kim認為AI半導體應該是普遍可用的,而不是僅限於專有使用,他強調技術應該是每個人都能利用的。

為了實現此一願景,Kim在南韓的IC設計公司基地——京畿道的板橋(Pangyo)成立DEEPX。他的目標是創建一家具有獨特價值的AI晶片公司,希望推動創新而非排他性。

DEEPX的定位並不是與全球半導體大廠競爭,而是作為一種互補的力量,透過提供容易被存取使用的先進AI技術,來擴大全球半導體市場版圖。

有別於GPU DEEPX獨特的NPU處理器解決方案

之所以開發AI專用的半導體——NPU,主要是希望突破GPU的限制,過去GPU一直被用於AI運算,但GPU最初是為了處理圖形數據而設計,它擅長同時處理大量數據,因此很適合用於AI學習的任務。然而高能耗和高昂的營運成本是其重大缺點,這讓GPU在邊緣AI的使用上不甚理想,邊緣AI是指直接在控制器、機器人和自駕車等設備上執行AI應用程式。

NPU模仿人腦運作,具有低能耗和降低生產成本的優點。然而,現有的NPU卻有不夠準確以及無法支援最新AI演算法的問題。DEEPX在一片IC設計公司中獨創一格,因為他們透過一個全方位的解決方案來克服AI半導體的核心挑戰。

不同於其他NPU廠商每次僅發表單一晶片,DEEPX了解不同電子設備需要不同等級的半導體運算能力。例如,監視器的AI主要用於分析影像,而機器人的AI涉及更複雜的運算,為了滿足此一需求,DEEPX同時開發了從低階到高階性能的四款晶片:一款可以連接單個電子設備進行AI運算,另一款可以連接三到四個設備進行更廣泛的AI任務。能夠跨設備一體通用是DEEPX在2024 CES展上獲得創新獎的關鍵原因之一。

對高性能、低能耗和低成本的承諾也是DEEPX獲得創新獎的原因。以最新的AI演算法Yolo7來說,它可執行在DEEPX的DX-V1半導體上,這款晶片是透過三星的28奈米製程所生產,然而此一演算法先前並無法相容於其他廠商的NPU。此外,DX-M1晶片的設計面積僅為其他NPU的三分之一,其製造成本也相對降低三分之一。集結低單位成本與高性能的特色在一個低功耗NPU中,DEEPX的產品有望引領AI半導體市場。

NPU可分為用來處理大規模推論的資料中心型NPU,以及在機器人、智慧相機、智慧工廠和消費性電子等設備所使用的邊緣型NPU,而DEEPX同時瞄準這兩種市場。DEEPX的NPU提供高準確性和效率,克服現有NPU的常見缺點。

DEEPX的創新在於創造出既小巧又具有成本效益的NPU,同時在準確性方面可媲美甚至超越GPU。這歸功於DEEPX在兩項核心技術上的創新:IQ8(一種INT8 模型壓縮技術)和Smart Memory Access(最小化D-RAM使用)。透過在硬體和軟體優化方面的獨家進展,DEEPX實現世界最高的功率性能比,在低功耗AI解決方案市場中居於領先。

邁向量產

DEEPX已經透過樣品單元成功展示其原創技術,並且正處於量產晶片的最後階段,計劃於2024年底上市。到了2025年,採用DEEPX晶片的產品廣泛普及,將可望使DEEPX成為裝置端AI晶片市場的技術領先者。

裝置端AI晶片的關鍵在於低功耗以及硬體與軟體的無縫整合。由於AI必須在小型設備上運行,降低功耗至關重要,同時在有限的運算能力內最大化AI性能。

Kim過去在蘋果電腦的經驗,十分強調從一開始就同樣重視硬體和軟體設計。但與蘋果不同的是,蘋果開發自己的裝置和服務,DEEPX則是在產品開發過程中訪談大約700位客戶,了解他們的需求並找到最佳的開發點。這種以客戶為中心的方法對於完善DEEPX的產品來說不可或缺。

目前在這個新興的裝置端AI晶片市場中,有來自以色列和美國的四家公司,包括DEEPX在內,正在爭奪市場的主導地位。隨著裝置端市場開始超越伺服器市場蓬勃發展起來,這場競爭對未來局勢的確立至關重要。

Kim對DEEPX的戰略充滿信心。他指出,儘管一些競爭對手優先考慮快速推出產品上市,DEEPX則首先關注價格和優化。有鑑於AI應用服務的快速發展,Kim認為與其匆忙推出產品,不如與市場趨勢保持一致,並以具有競爭力的成本提供高性能的功能更為重要。

經營理念:重視技術勝過短期結果

DEEPX並不專注為自駕車或智慧型手機製造AI半導體,相反地DEEPX要推動將AI整合至日常生活中。DEEPX的產品設計在將AI導入如監視器和機器人等領域,推動這些應用拋棄過時的演算法,DEEPX的使命是引領AI半導體產業前進。

在DEEPX公司的門口有一張給員工的便條,強調技術價值高於金錢收益。它引用卡爾·薩根的《預約新宇宙:為人類尋找新天地》一書,反映生命應該充滿價值,而不是追逐金錢和權力。便條上的訊息鼓勵70名員工熱愛自己的工作並找到意義,與公司創造有益於社會的技術的精神一致。

未來計畫:全球擴展與創新

具遠見卓識的Kim已經制定未來的戰略計畫:前進全球市場:從2024年下半年開始,DEEPX計劃以其第一代產品(由四款AI晶片組成)積極進入全球市場,這一舉措將開啟「AI無處不在」的時代。

技術創新:DEEPX目標要開發能夠實現功耗低於5W的超大規模AI服務的新技術。這一創新將使先進的AI技術更加普及和實用。

AI領導地位:DEEPX致力於成為全球領先的全方位AI晶片公司。透過專注於功率和成本效益,DEEPX提供核心技術將AI從科學領域轉移到日常應用。

將AI融入日常生活,DEEPX以有意義的方式推進技術。透過重視創新而非利潤,並追求全球領導地位,DEEPX有望在AI的未來中發揮關鍵作用。公司的共享技術和全球擴展的承諾凸顯其致力於使AI為人類所用且造福人類的決心。

加入DEEPX的早期參與客戶計劃(EECP),不要錯過他們設計的創新產品可用於提升您的AI能力。了解現有的100多家全球企業,包括現代起亞汽車機器人實驗室、POSCO DX、Supermicro和戴爾,如何利用他們的硬體和軟體來驅動其下一代AI產品。欲了解更多訊息請關注DEEPX的社交媒體或他們的官方網站


商情專輯-COMPUTEX 2024