Android結合Gemini是Google發展生成式AI的一張好牌

在ChatGPT走紅所帶起的大型語言模型(Large Language Model；LLM)與生成式AI相關應用投資及開發的競爭狂潮中，Google打出Android平台結合裝置端Gemini Nano及雲端Gemini Pro這張好牌，DIGITMES Research分析，此舉將提供Android硬體業者及第三方應用開發者在LLM與生成式AI方面更完整的支援，而Google可望藉此布局於LLM及生成式AI戰場上搶下一片江山。

ChatGPT展現出來的能耐及快速吸引大量用戶使用的盛況，在2023年掀起一股各方業者投入大量資源於LLM及相關生成式AI應用發展的熱潮，而且這股風潮從雲端吹向裝置端。

DIGITIMES Research觀察，智慧型產業在裝置端(on-device) LLM及相關生成式AI發展方面，步伐明顯快於PC產業。隨著智慧型手機業者於2023年下半積極在Android手機上導入裝置端生成式AI，Google跟上腳步，於12月宣布推出名為Gemini的LLM，計劃將其逐步導入各類Google產品及服務，其中包含於Android作業系統平台引入參數精簡版本Gemini Nano。

DIGITIMES Research認為，以Google在Android生態系(ecosystem)的主導地位，Gemini Nano整合進Android系統後，將使裝置端LLM及生成式AI行動裝置於2~3年內，從侷限於旗艦機種擴及高階與中階機款。

ChatGPT掀起雲端及裝置端LLM與生成式AI熱潮

OpenAI在2022年11月30日推出ChatGPT後，歷經短短兩個月，依瑞銀的報告估計，ChatGPT在2023年1月每月活躍用戶數已達1億，成為史上累積用戶數最快的應用之一。OpenAI營收也跟著急速增長，根據金融時報於2024年2月的報導，依其2023年12月營收換算的年化營收已達20億美元，亦即OpenAI成立不及10年，年營收便將突破10億美元里程碑，有此成就的公司屈指可數。

隨著ChatGPT的走紅及OpenAI公司價值的水漲船高，帶動其核心技術LLM及相關生成式AI應用的蓬勃發展，包含Google、微軟(Microsoft)、亞馬遜(Amazon)、Meta、阿里巴巴、百度、騰訊等大型網際網路及雲端服務業者，以及眾多新創AI公司，在2023年爭相投入大量資源，訓練模型及開發應用。

除前述透過雲端算力推論提供LLM及生成式AI服務的Cloud AI模式，PC及手機產業也掀起一波開發由裝置端提供LLM及生成式AI應用及服務的風潮。

智慧型手機端LLM及生成式AI發展快於PC端

DIGITIMES Research觀察與分析，在智慧型手機及平板這類型行動裝置領域，支援裝置端LLM及生成式AI的裝置及應用發展步伐快過個人電腦(PC)領域，主要是因為智慧型手機產業相較於PC產業擁有更大的靈活性。

PC產業在引入新技術與應用時，很大程度只能依循作業系統平台掌控者微軟腳步與規範，亦即PC硬體業者往往囿限於Windows作業系統限制框架內。

相對來看，Android裝置生態系及作業系統演進雖由Google掌控，然硬體業者對於Android裝置上的使用介面及預載應用還是擁有不小的客製調整空間，因此使用Android平台的各大智慧型手機業者已各顯神通，與手機主處理器業者合作開發，於2023年第4季起開始在旗艦機款，搭載裝置端 LLM與生成式AI應用，爭相引領市場。

智慧型手機品牌業者中，最早推出裝置端生成式AI手機是小米，於2023年10月下旬發表搭載高通(Qualcomm)驍龍(Snapdragon) 8 Gen 3處理器的旗艦機款小米14系列；緊接著，Vivo於11月推出旗艦機種X100系列，處理器則選用聯發科天璣9300。

一進入2024年，另兩家中系業者Oppo及榮耀相繼於1月推出具裝置端生成式AI應用及功能的旗艦新機Find X7系列及榮耀Magic 6系列。Find X7分為搭載天璣9300的一般版及搭載Snapdragon 8 Gen 3的Ultra版；Magic 6系列則是皆採用Snapdragon 8 Gen 3。

韓系手機大廠三星(Samsung)不落於人後，亦於同月稍晚推出以生成式AI功能為主打賣點的年度旗艦產品Galaxy S24系列，依不同銷售地區及機型區分，處理器採用Snapdragon 8 Gen 3或三星自家Exynos 2400。

大力投注資源於雲端發展LLM及生成式AI應用、又身為Android生態系主要掌控者的Google，則是於2023年12月宣布為已於10月上市的Pixel 8 Pro增加生成式AI功能。

裝置端LLM及生成式AI主打資料機敏及用戶隱私

整理比較小米、Vivo、Oppo、榮耀及三星近期上市的裝置端生成式AI手機，相關功能共同訴求點不外乎類似ChatGPT的問答AI助手及以圖片為主的AI生成或修飾內容。另外，大多數業者也都推出考量用戶隱私及資料機敏性，特別適合由裝置端生成式AI處理的應用，如把會議錄音生成文稿與摘要的整理功能。

小米、Vivo及榮耀還整合了部分AI功能至手機操作介面，例如用自然語言描述來找出存於手機內的照片、操作部分手機功能或開啟特定應用程式；又如從螢幕上顯示的訊息或文件內容自動辨識出會議時間、約會地址、網頁連結等關鍵資訊，用戶長壓後拖曳該訊息或文件，手機系統會列出數個對應到關鍵資訊的應用程式開啟選擇，如有約會地點的訊息可選擇開啟叫車、地圖或餐廳預約程式。

利用LLM進行通話即時雙向翻譯功能，則是三星推出的生成式AI主打功能；榮耀及三星手機上的生成式AI功能除能藉由自家內建應用程式提供，部分功能也已開放支援第三方應用程式。

Google首波為其Pixel 8 Pro添增的裝置端生成式AI功能並不多，僅有錄音轉文字及摘要(Summarize in Recorder)，及可於WhatsApp與Line等通訊軟體中使用的Google鍵盤智慧回覆(Smart Reply in Gboard)，此功能可根據文字對話上下文，生成回覆建議，節省用戶打字時間。

Google藉Gemini Nano主導Android裝置端生成式AI發展

Android生態系的主要掌控者Google，在已上市的Pixel 8 Pro加入生成式AI功能，其目的並非為了增加Pixel品牌手機的銷量。前述提過的兩項裝置端生成式AI應用主要是用以展示參數精簡版LLM Gemini Nano的能耐，而Google是藉由於Android作業系統中導入Gemini Nano，來主導Android裝置上的生成式AI發展，此又為Google在LLM及生成式AI領域發展戰略的一環。

Google在2023年12月發布大型語言模型 Gemini 1.0，依據參數規模大小，分為三種類型－Gemini Ultra、Gemini Pro與Gemini Nano，其中Gemini Nano是設計專為在裝置上執行LLM及生成式AI應用而參數規模大幅縮減的精煉(distilling)模型，分別是只有18億個參數的Nano-1及32.5億個參數的Nano-2。

從發布時序上來看，Google在Android平台導入Gemini Nano，算是跟上中系智慧型手機業者積極在Android手機導入裝置端生成式AI的步伐；從生態系發展的角度觀之，Google此舉是以Android平台層級來支援裝置端LLM及生成式AI應用，透過SDK開發工具及API支援，第三方應用開發者將有機會創新和開發更多樣化的相關應用。

依Google規畫，從Android 14起，Gemini Nano將成為作業系統的一部分，Pixel Pro 8為首款導入Gemini Nano的手機，緊接著是由三星、高通與Google合作在Galaxy S24系列內導入Gemini Nano，提供裝置端LLM及生成式AI應用。

DIGITIMES Research訪談手機與處理器相關業者得知，中系智慧型手機品牌業者各自所開發的裝置端生成式AI應用及LLM，基本上只限搭載於中國市場銷售的手機；各家中系智慧型手機品牌業者皆將與處理器業者及Google合作，把Gemini Nano導入於海外市場銷售的機款。

由於手機這類行動裝置上的運算低功耗要求較嚴格，提供裝置端的LLM及生成式AI應用運算力的AI加速器(TPU/NPU Accelerator)若與模型演算法軟硬整合最佳化，或將部分軟體運算轉為AI加速器硬體電路，便能提高運算效率及降低功耗。換句話說，LLM與AI加速器同由Google內部團隊開發，在更新迭代研發時，易於通盤規劃軟硬整合最佳化或軟體演算法硬體化。

基於上述考量，Google未來是否會考慮將其Tensor處理器中的edge TPU單元，以IP形式授權給處理器業者，來提升Android硬體上的裝置端LLM及生成式AI的運算效率及效能表現，並更可牢牢主導Android生態系裝置端LLM及生成式AI相關軟硬進程發展，DIGITIMES Research認為是未來幾年裝置端LLM及生成式AI發展演化的觀察重點之一。

■ LoRA技術彌補LLM精煉模型的缺點

受限於裝置上的運算力、DRAM容量及功耗考量，手機上的LLM採用參數量規模遠小於雲端LLM千億以上等級的精鍊模型。近期手機上LLM的參數量在100億以下，常見的為10~20億、30億、50~70億等。

大幅減少參數量換來的是模型回答準確性下滑，及泛化性表現差(無法以單一模型勝任多樣化的應用)。

以Google所公布的數據來看，與Gemini Pro相較，在不同領域測驗的答題正確率，18億個參數的Gemini Nano-1最差只剩Gemini Pro的約3成能力；參數量32.5億個的Gemini Nano-2最差則尚有Gemini Pro的約4成5能力。

Google透過Gemini Nano支援LoRA (Low-Rank Adaptation)大型語言模型微調(fine tuning)技術，來改善回答準確性下滑及泛化性表現差的問題，亦即開發人員可根據應用的特性及自有的訓練資料，為不同應用程式，各自建立合適的LoRA適配器(adapter)來搭配Gemini Nano模型。

裝置端LLM及生成式AI掀熱潮　晶圓代工業者及記憶體IDM為主要受惠者

手機這類行動裝置要實現裝置端LLM及生成式AI，硬體上需要增加AI運算力，因此主處理器NPU區塊電晶體數量及所佔晶圓(wafer)面積的增加程度會因需求而提升，亦即將帶動整顆處理器晶粒尺寸(die size)增大程度，耗用更多晶圓，主要受惠就是以台積電為首的先進製程晶圓代工業者。

再者，裝置端LLM及生成式AI運算執行時，需要大量DRAM，依據業界估計，手機一般使用狀況再加上執行70億個參數等級的LLM，DRAM容量配置達24GB以上，方能有較順暢的效能表現。

又LoRA大型語言模型微調技術搭配參數量小的精煉模型，會造成不同應用都需要建構LoRA適配器檔案，依業界專家估計，每個LoRA適配器檔案可能佔用數百MB至數GB的儲存空間。

綜合來說，裝置端LLM及生成式AI會使手機耗用更多DRAM及NAND Flash，亦即裝置上需配置更高容量的DRAM及NAND Flash，而主要受惠對象便是三星電子(Samsung Electronics)、SK海力士(SK Hynix)、美光(Micron)這幾家記憶體IDM。

此外，裝置端 LLM及生成式AI應用會讓手機增加耗用運算力的時間，也會因而增加裝置散熱及電池容量需求。

Cloud AI與on-device AI互補性高過取代性

未來幾年隨著較能確保用戶資料機敏及隱私的裝置端LLM及生成式AI蓬勃發展，有一問題便浮現：雲端LLM及AI的重要性及需求是否會因此減弱？DIGITIMES Research認為答案是否定的，雲端LLM及AI反而會隨著裝置端LLM及生成式AI的興起而需求增速，原因可分為技術及商業模式兩方面來探討。

首先，在技術可行性方面，手機及PC這類裝置本身再如何增加運算力及記憶體配置，也無法將網路上的龐大巨量資料儲存於裝置端，亦難以由裝置端連上雲端去有效率地直接爬梳、處理及消化網路上的資料。換句話說，只要用戶的需求或應用必須爬梳、消化、處理網路上的資料，由雲端AI來協助才具效率極高可行性。

再者，從商業模式來看，純裝置端LLM及生成式AI應用較不易向使用者收費，而且LLM及生成式AI應用展現的品質及準確性，時常與其後端連接的專業性資料庫息息相關，對於專業資料庫提供者來說，偏好透過雲端AI提供用戶服務，而非把資料庫賣斷給客戶安裝在用戶裝置上。

對於Google及微軟這類同時掌握裝置作業系統及雲端龐大資源與用戶的產業巨擘來說，發展裝置端LLM及生成式AI的重要目標之一，是將硬體業者、第三方應用開發者及用戶引導至易於根據服務或運算力用量計價的雲端AI，這樣一來鉅額的雲端AI基礎建設投資才得以回收。

三星在Galaxy S24系列推出各式LLM及生成式AI應用，便是與Google在雲端Gemini Pro及裝置端導入Gemini Nano兩方面都進行合作。DIGITIMES Research認為，其他智慧型手機業者未來將比照此模式，在手機及平板等Android行動裝置上，與Google進行LLM及生成式AI相關應用的合作開發。

結語

Google於Android作業系統導入Gemini Nano，可望大幅加速Android硬體的裝置端LLM及生成式AI相關發展。放眼未來數年，隨著相關應用百花齊放，加上Android裝置業者及處理器業者在協同開發硬體也有所依循，DIGITIMES Research預估，整個裝置端 LLM及生成式AI行動裝置涵蓋的產品會從目前只侷限於旗艦機種，在2024~2026年便擴及至高階與中階機款，能支援相關應用的裝置出貨量將大幅增加。

總歸來說，Google推出Gemini Nano，把其納入Android平台，可望在Android生態系發揮一錘定音的效果，有效解決智慧型手機業者各自為政的紛亂－在LLM及生成式AI熱潮下急忙選定少數自家產品放上幾個相關應用，導致難以發揮與運用整體生態系力量。

DIGITIMES Research並預期，同時掌握Android生態系、龐大雲端資源與眾端用戶的Google，將透過整合雲端Gemini Pro及裝置端Gemini Nano，在LLM與生成式AI方面，提供硬體業者及第三方應用開發者更完整的支援，讓用戶能獲得無縫體驗的LLM與生成式AI應用及服務。

Google藉由Android結合Gemini，在LLM與生成式AI領域打出一張好牌！接下來便是觀察iOS生態系主導者蘋果(Apple)，在2024年在這方面有哪些布局來競逐市場。