生成式AI必然會從以往高度仰賴資料中心的雲服務，將部分具有隱私性、即時性的訊息留在「端」的設備上處理。因此，搭載CPU+NPU的AI PC與AI手機，被塑造成可執行機敏運算，進行有效推論的終端設備，這也是現階段我們看到終端設備的新商機。生成式語言模型　走向更快、更小、更準的新世代一開始生成式語言走的是大語言模型（LLM），2018年啟用的GPT 1創造了風潮之後，整個大語言模型的世界風起雲湧。之後的BERT、GPT 2、T5、Meena與Megatron、GPT 3等不同世代的更迭，激增的運算參數總量，背後是Open AI與微軟（Microsoft）、Google之間的角力，而這是屬於「雲」層次的大語言模型之爭。2021年之後，為了解決使用者的疑慮，更多公司推出針對專屬應用的語言模型，誘使更多用戶在分眾領域與終端設備中啟用人工智慧的應用，這是邊緣AI的源頭，未來也還可能往電動車、工控應用推進。正在擴張中的人工智慧大商機，也從最上游的晶圓製造廠，湧進最下游的終端設備、工控業。從短期商機來看，為解決GPU建構成本與耗能過高的問題，AI PC業者推出內建NPU的CPU平台，這種適合離線運算的大語言模型，總運算參數多數在100億~300億之間，這樣的解決方案目前主要是由微軟的Copolite主導，硬體製造廠、供應商扮演助攻的角色。在AI手機方面，已經有不少手機內建NPU，LLM的語言模型，參數量在10億~100億之間，目前手機應用處理器（AP）的供應商積極提高運算效能，但也必須克服記憶體頻寬的問題。面對這個快速成長的商機，微軟Azure平台在2022年的11月推出免費版，讓ChatGPT在兩個月內累積了超過1億的用戶。之後在2023年的2月推出GPT-4 Plus，並以ChatGPT技術導入New Bing、Edge的應用，2023年9月推出M 365 Copolite，也預期新版的Windows會內建Copolite的功能。至於以AI PC為目標的兩大CPU陣營，以英特爾、AMD主導的X86陣營，以及Arm陣營的高通（Qualcomm）、蘋果（Apple）都在搶先布局，而用戶端的則是惠普（HP）、戴爾（Dell）、宏碁、華碩等各種品牌業者。x86陣營的英特爾（Intel）使用自家Intel 4製程的Core Ultra處理器，而超微（AMD）則是倚賴台積電4奈米技術的Ryzen 8040，操作系統都是Windows OS。在Arm陣營方面，高通Snapdragon X Elite平台使用台積電4奈米製程，預計2024年下半推出。而蘋果的M4則使用台積電第二代3奈米製程（N3E），這是蘋果生態圈的專用處理器。據DIGITIMES估計，全球NB市場規模將從2023年的1.66億台，增加到2024年的1.73億台，其中AI NB的比重將達26%，也就是有4,500萬台的NB裝載新的處理器，並擁有推論的能力。在手機方面，預期2024年11.66億支的手機市場中，有1.47億支是具有推論功能的AI手機，比重是12.6%。短短一、兩年之內，具AI功能的終端設備異軍突起，上下游業者都希望分一杯羹，甚至往更遠的電動車、工業應用發展，將成為下一波人工智慧與雲端服務的關鍵進展，而混合型的人工智慧服務也將帶來更多元的面向與商機。

在討論HBM4標準介面對DRAM產業生態的衝擊之前，讓我們先回顧一下DRAM產業的現況。DRAM產業從2014年的20~22奈米製程，到2024年SK海力士（SK Hynix）跨入10奈米製程，整整花了10年的工夫。如果在過去摩爾定律還適用的年代，這樣速度的製程進展只能算是前進2個世代節點，這是過去用3年時間就可以取得的成果。DRAM製程進展如此遲緩當然是因為DRAM物理特性所造成的限制：DRAM的記憶單元是電容，而電容值（capacitance）與電容面積成正比。在製程持續微縮過程中，電容面積理當會變小，因而電容能保持電荷—就是記憶體單元中的訊號—的時間會縮短，因此每次製程推進時，還要維持電容值不變，這就成了DRAM新製程研發時的最大夢靨。沒有快速的製程推進，就無法在同一面積晶片上提高效能、持續快速的創造新價值。兼之DRAM進入1b、1a製程後，使用昂貴的EUV似乎無可避免，這讓單位面積成本的下降更為艱難。如果製程快速推進無法成為晶片增加經濟價值的手段，就得有其他增加價值的方式。譬如說，創造應用面的價值。目前DRAM在各類應用的標準介面相繼出爐正是此一趨勢的顯現，從原先主流的DDR（Double Data Rate），再到適用於移動系統的LPDDR（Low Power DDR，節能）以及GDDR（Graphic DDR，寬頻）、HBM（大容量、超寬頻）等。也就是說，DRAM產品雖然還有統一的介面標準，但是產品市場正逐漸走向碎片化過程之中。產品市場分化的下一步就是客製化。客製化產品的供應與需求中間的關係是專買與專賣，因此可以很大程度的避開大宗商品（commodity）市場典型的週期性起伏狀況。改變產業的生態樣貌、藉以避免業務及財務的大幅震盪等，也許是這些想客製化HBM記憶體公司的考量之一，特別是記憶體市場現在正在經歷為時不短的週期性價格低谷時期。但是市場開始分割細碎後，規模經濟的威力也會跟著降低。原先DRAM市場由3家大公司寡頭壟斷的局面也可能會因之改變。原先DRAM產業的進入壁壘主要是規模經濟以及先進製程相關的專利障礙。但是現在DRAM製程演進遲緩，兼之有許多小生態區開始出現，可以提供小公司的牛油與麵包，寡頭壟斷的市場生態有可能變化。這也許部分解釋SK海力士目前技術的想法。HBM4記憶體的堆疊部分仍然可能選擇統一的標準介面，在設計及生產上仍能大致維持規模經濟的効力；客製化的任務就侷限於底層的邏輯晶片。這樣的安排大致能維持規模經濟與客製化的均衡，獲取最大利益。只是產業的產品介面標準存在的前提，是所有產業中生產產品的公司以及產品使用者願意共同遵守。如果有些公司選擇專有介面，便無業界統一的介面標準。無論如何，這是2025年就應該會有答案的，而其結果將牽動DRAM產業的生態樣貌。

大勢所趨，網路巨擘建構完整的產業生態系，讓生成式AI在整個轉折過程中處於樞紐地位，而這些網路巨擘從「雲走向端」也是必然的趨勢。過去，終端設備只是連結用戶雲端服務的介面而已，人們使用傳統的手機、電腦，將各種問題拋到資料中心獲得適當的解答。但所有的用戶都憂心自己的提問成為網路巨擘訓練資料中心的養分，用戶從客戶隱私到傳輸的延遲都有疑慮。在用戶修正使用行為的過程中，邊緣運算是最快受惠的族群，這也與台灣傳統的優勢息息相關。無論是AI PC或AI手機，都是第一波驗證邊緣運算的重要機制，台商為主的製造體系或許不是主要的獲利環節，但其他新興國家也很難抗衡。台商無怨無悔地全力投入，加上台積電「讓競爭者看不到車尾燈」的競爭策略，生產製造的學習曲線反倒成為拉大領先差距的關鍵要素。隨著時間的推移，原本隱身在後的台系供應鏈因為台積電突出的表現，以及瞭解台系供應鏈價值的NVIDIA因時而生，台灣在人工智慧的新時代，必然會從隱身幕後的推手，變成協助科技大腕建構全球供應鏈的關鍵夥伴。就像不久之前頻發的地震一樣，當大地動能累積到一定程度時，適當地釋放能量是最好的解決方案。1998年亞洲金融風暴之後，台商睥睨全球的OEM製造體系無法安於台灣的土地、人才條件，往中國移動是釋放能量的選擇，否則台商不會有今天的經濟規模。現在這一波的人工智慧大潮，加上美中貿易摩擦，台灣似乎又到了選擇的時刻。過去政府是心不甘、情不願地放手台商到中國設廠，現在面對的是越南、泰國、印度、墨西哥，甚至捷克、波蘭的新選擇，台灣會主動擬定戰略，還是讓廠商各自尋找生路呢？市值動輒上兆美元的科技大廠，過去只關注侷限於服務核心客群的議題，但現在更期待「整合＋壟斷」，他們正在重塑品牌定位，背後的台商是可以快速回應技術更替，建構超前供應鏈的關鍵夥伴。以代工為主的台商一如既往，仍然是「無害的夥伴」，也預告未來10年將是台灣的黃金十年。

為維持NVIDIA在人工智慧領域的領導地位，NVIDIA除了以CUDA軟體掌握核心價值之外，因身上有台灣DNA，也不斷地強調其與台灣、台積電的淵源，另在實務上NVIDIA甚至還掌握了伺服器供應鏈的核心環節。以H100的晶片為例，DIGITIMES在一年多前報導NVIDIA向SK海力士（SK Hynix）直接採購HBM記憶體的新聞，當時的市場需求讓我們知道「something different」，但不足以讓我們深度理解背後的情境。NVIDIA以H100 PCIe的模組賣給各大伺服器品牌與雲端服務業者，這是我們常見的OEM模式。之後我們開始追蹤NVIDIA以PG 520 PCB的型號將主機板打板的工作交給鴻海，整個系統的組裝交給緯創。NVIDIA以自己的品牌DGX System銷售到市場，甚至以DGX Cloud Service 的服務模式提供給微軟（Microsoft）、甲骨文（Oracle）這些大型系統軟體業者，並量身定做品牌服務工作。NVIDIA提供一條龍的服務，根據客戶需求提供差異化的軟體與硬體架構供客戶選擇。在上游的台積電供應不足的情況下，NVIDIA在不同環節有更高的主導權，也讓其他競爭者望而生嘆。誰在人工智慧的地圖與客戶的雷達上？毫無疑問，在各種戰略配套下，就像台積電在晶圓代工業的實力一樣，NVIDIA建構了AI生態系的深溝高壘，競爭者很難越雷池一步。那麼這些深溝高壘到底包括什麼？我們必須瞭解過去英特爾（Intel）、微軟、蘋果（Apple）創造的模式，也許不會在短期內被推翻，但毋庸置疑的這些傳統運作模式正在被改變，影響力也在削弱中。從前科技巨擘會先掌握發展平台，這個平台會與用戶共構、發展，一旦到了規模之後，特別是針對企業用戶的需求連結雲端的服務。這種經營邏輯之下，代工廠照表操課，除台積電先期布局次世代技術的能力之外，多數供應鏈的廠商只是陪襯的角色，而品牌商的價值也在式微。這完全是符合資本主義、美式、西方成功企業的經營邏輯，甚至可以說，AI新時代的特色就是壟斷！但擁有亞洲人DNA的NVIDIA大不同，黃仁勳動輒強調NVIDIA與台積電的關係，而一年跑台灣三、四次的頻率，也是世界級企業領袖罕見的例子。我相信他不是回台灣吃麻花捲或眷村菜，他回台灣是綁樁來的。除台積電之外，黃仁勳需要鴻海、緯創、技嘉這些重量級的製造大廠，確保整個供應鏈可以與他的總體戰略相匹配，而這個系統短期內很難出現在其他的國家。強大如蘋果、微軟、亞馬遜（Amazon）、Google這些公司，在台灣都有強大的團隊，但NVIDIA絕對是極少數真正理解台灣優勢，並且真正將供應鏈整合在自家經營架構中的超重量級企業。

在人工智慧（AI）的大熱潮中，NVIDIA如何一枝獨秀，我們可以先從伺服器的成本結構看起。傳統x86的伺服器總成本略微超過1萬美元，但搭載8顆GPU的NVIDIA DGX H100系統，總成本將近27萬美元，兩者之間價差相距甚遠。不僅英特爾（Intel）的市值被NVIDIA超越，現在連營業額都輸給NVIDIA，NVIDIA更超越台積電、三星電子（Samsung Electronics），成為全球營業額最大的半導體廠商。NVIDIA的領先優勢，從台積電、SK海力士（SK Hynix）兩大供應商的營收也可以看得出來。在台積電有3奈米、4/5奈米、7奈米幾個主要的先進製程，4/5奈米主要便是供應NVIDIA的GPU之用。在2024年第1季台積電各製程比重變化中可以得知，當專攻3奈米的iPhone出貨走過旺季之後，交貨給NVIDIA的4/5奈米製程成為台積電一枝獨秀的世代。為滿足NVIDIA的需要，原本計劃落腳在銅鑼的CoWos先進封測廠搬遷到嘉義，而CoWos的月產能預期也將從2023年的1.3萬片，暴增到2024年的3.8萬片與2025年的7.6萬片。在記憶體方面，過去幾年三星DRAM部門的營收都是SK海力士的1.5倍左右，但NVIDIA最主要的合作夥伴是2015年率先量產HBM的SK海力士。在景氣轉變的2023年第4季，三星記憶體部門（DRAM+NAND）營收成長率是33%，但SK海力士的DRAM部門成長率高達65%。事實上，從2023年第2季開始，SK海力士的DRAM營收便超過三星，關鍵就是與NVIDIA合作的HBM記憶體。為滿足HBM市場的商機，SK海力士的M15與M17工廠都調整擴廠結構與節奏，希望能快速擴張HBM產能，以滿足高階伺服器市場的需求。台積電魏哲家也說2028年時，AI伺服器晶片的需求將貢獻台積電20%的營收，顯示NVIDIA的兩大供應商都在財報中看好高階伺服器的商機。2020~2022這三年間，全世界半導體廠商的排名依序是英特爾、三星與SK海力士，在以自己的品牌在市場上銷售半導體的公司中，NVIDIA通常只能排名第六、第七。但市場從2023年起開始翻轉，以製造服務取勝的台積電在上半年超越所有的半導體品牌廠，成為全球第一大半導體公司。下半年的NVIDIA更猛，2023年四個季度的營收分別為71億美元、135億美元、181億與221億美元。第1季與第4季的營收差距多達3倍，可以想像十倍速的時代正在發生，能儘快挪動資源的公司將成為市場上最大的贏家。風行草偃，我們看到圍繞在NVIDIA四周的科技公司，都深怕錯過這一波大潮。根據DIGITIMES彙整的預測資料，企業市值名列前茅的大公司中，微軟（Microsoft）、蘋果（Apple）、亞馬遜（Amazon）、Google、三星是年營收超過2,000億美元的超重量級公司，NVIDIA、Meta與Tesla也有1,000億美元以上的規模。但在市值排名前12大的公司中，NVIDIA與台積電的淨利率分別達到52.2%、37.2%，過去的霸主英特爾卻只剩下4.6%。從營收與獲利結構中，我們看到了世代的更替，AI主導的時代已經再明顯不過了！

從NVIDIA、微軟（Microsft），到台灣的台積電、廣達、緯創、鴻海等公司，都不斷地以人工智慧（AI）為主題探索企業的未來。新聞不見得都是真的，但很多新聞串連起來，就可以掌握產業發展脈絡。毫無疑問，可能是產業興衰更替的轉折。DIGITIMES的黃逸平、陳辰妃兩位資深分析師，近期以「生成式AI時代，科技產業大未來」、「生成式AI重塑邊緣運算競爭新局」為題完成兩份報告，我仔細讀完之後彙整成幾篇文章，也跟DIGITIMES的讀者們分享。AI帶來的世代變革AI因為2012年一次深度學習的大躍進而改變。AlexNet在識圖競賽中，大幅將錯誤率從26.2%降低到16.2%，之後GoogLeNet、SENet的幾次進展，讓圖形辨識的錯誤率低到比人類平均5%的錯誤率還低，深度學習不再是紙上談兵，AI在供應鏈管理與智慧製造的進展更讓很多使用者驚嘆。之後，生成式的大語言模型（LLM），在個人電腦、行動通信所累積的數據經濟基礎上大放異彩，我們開始在雲端、邊緣運算上，試著從水平的技術架構，與垂直的分眾應用平台找出市場的空間。現在我們看到的是指數型成長商機，企業界挪動所有可以移動的資源希望分到一杯羹。2020年，基礎模型（foundation model）新創只募得4,400萬美元，到2023年時募到的資金竟然高達163億美元，暴衝的NVIDIA在2023年時投入的企業創投資金已經排名全世界第四，僅次於微軟、蘋果（Apple）等少數公司。但多元分化的大語言模型，未來會是贏家全拿，或者只有少數贏家的現實之外，對台灣產業的啟示又是什麼？過去在行動通信時代「低空飛過」的台灣新創產業，能在AI時代出現新的轉機嗎？對量產製造的台系供應鏈而言，除了台積電是比較明顯的贏家之外，其餘的台商又應如何因應呢？AI改變了產業格局多年來，台灣都是PC與手機的主要供應商，從NB生產衍生而來的伺服器商機，讓現在全球有超過9成的伺服器來自台商之手，台灣成了供應鏈上最具實力的軍火商。DIGITIMES估計，2022年全球高階伺服器出貨量僅有3.4萬台，到2023年暴衝到17.2萬台，成長率高達408%，2024年也還可維持150%的高成長。現在台商都在關注AI PC與AI手機的商機，估計2024年全球11.66億支的手機市場中，AI手機的需求上看1.47億支，而全球1.73億台的NB市場，也會有4,500萬台的AINB需求。除了快速擴張的市場需求之外，大家也都在關切X86陣營與Arm based的優劣勢之爭。原本營收僅是略高於超微（AMD）的NVIDIA，在2022年第4季開始明顯超越超微，而與英特爾（Intel）的黃金交叉出現在2023年的第2季，從此以後雙方的落差明顯擴大，成長動能根本不能相提並論。我們可以理解，從2018年8月全球出現第一家市值超過1兆美元的企業之後，陸續已有7家超越1兆美元的門檻，資本大量流進科技巨擘之手，現在我們更明顯看到NVIDIA的成長曲線，顯示了人才、資金，甚至產能加速匯聚的動能。​​​​​​​一旦您的公司在特定領域取得壓倒性的優勢，您的財富也會跟著聚攏，現在這些科技大腕期待的不是可有可無，一肩之差的領先，而是整個生態系完整包抄的領先優勢（待續）。

在人工智慧（AI）迅速發展的環境中，有關倫理問題以及可能限制其發展的辯論變得日益突出。透過密爾（John Stuart Mill, 1806～1873）的作品《論自由》（On Liberty），我們可以探索合理限制AI發展的觀點，強調在合理的範圍內，個體自由、進步和追求知識的重要性。密爾的《論自由》被嚴復翻譯為「群己權界論」，奠定理解社會控制和個人自由平衡的基礎。我試圖將密爾的哲學應用於當前AI發展的時代背景，以了解如何界定群己權。密爾主張自由開放的思想交流（Self-Development），或「思想市場」 （marketplace of ideas），是社會進步的重要因素。在AI發展的領域中，不受限制的資訊和創新概念流動促進多元觀點環境，有助於知識的成長。密爾強調個體自治（Individual Autonomy）。正如個體應該自由追求自己的興趣和自我發展，AI系統作為人類創造力的延伸，應賦予演進和適應的自主權，以改善人類生活並應對複雜社會挑戰。AI的發展改善人類生活，並增強應對複雜社會挑戰的能力。在此過程中，必須尊重使用者的個體權益，並促進社會和諧。密爾的傷害原則主張（The Harm Principle），限制個體自由的唯一理由是防止對他人造成傷害。密爾的哲學也告訴我們須負責任地謹慎開發AI系統，遵從道德準則並優先考慮人類福祉，讓其發展不會產生本質性的傷害。在AI算法的訓練中，如果基於不公正的資料集或缺乏多樣性而導致歧視性結果，則應限制這類不公平和歧視性的AI應用，確保考慮到社會的多樣性。然而，我們很難限制AI算法，避免其誤入歧途。 可行的方法是在AI晶片的設計中，直接加入艾西莫夫（Isaac Asimov, 1920~1992）的機器人三定律（Three Laws of Robotics），並在晶片製成過程中，將其直接寫入硬體。密爾警告多數的專制（The Tyranny of the Majority），強調壓制少數意見的危險。例如社交媒體平台的AI算法過度強調某一特定觀點，可能形成資訊泡泡（filter bubble），多數用戶僅看到和接觸到相似的意見和觀點。這樣的專制可能使得不同意見的少數群體的聲音被忽視，並進一步加劇社會的分裂和不理解。密爾倡導緊密連結社會進步與知識和創新 （Societal Progress and Innovation） 的追求。AI是人類巧思的體現，從醫療到教育等各個領域實現變革性的進步。然而，AI發展也必須有序權界，社會才會健康的前進。密爾的《論自由》為深入探討AI發展提供重要的倫理框架，強調擁抱個體自由、思想市場和知識追求的原則，是推動人類進步的核心價值。然而，在引導AI發展時，必須謹慎遵循負責任的道德原則。我們可以探索合理限制AI發展的觀點，引導未來AI的方向，確保其符合人類整體利益，並實現可持續、負責任且對人類有益的發展。

2000年，比爾蓋茲因為世界科技大會（WCIT）而到訪台灣，2009年第二任微軟（Microsoft）總裁Steve Ballmer訪台停留了一天，這兩次是微軟掌門人唯二的訪台紀錄。至於英特爾（Intel）總裁Pat Geisger在2023年中三度訪台，是為了拔樁、尋找與台積電對抗的機制，還是為了鞏固台系供應鏈而來呢？從英特爾發布的新聞資料中，我們看不出英特爾在槓桿台灣供應鏈上有更創新的做法。超微（AMD）執行長蘇姿丰也在訪談中提到她出生於台灣。但無可否認的，台灣在世界供應體系中，從過去的隱性價值慢慢浮上水面，成為各大企業爭相合作的戰略夥伴。簡而言之，美系科技巨擘將經營重心放在服務客戶上，NVIDIA挖掘出隱性的供應鏈價值，讓台系廠商，或者包括SK海力士（SK Hynix）在內的供應鏈大廠，開始成為世界舞台上的要角。我們預言系統產品的品牌大廠（如惠普、戴爾、聯想、Panasonic、Sony、三星、樂金等）不一定會消失，但將會像IBM一樣，轉型成為系統整合商，嘗試在軟硬整合、分眾領域成為領導廠商。產業正在分化、重組，不是完全的Upside-down，但也與過去大相徑庭。2024年很多公司都在面對轉捩點，不僅英特爾、微軟，日本的Sony該何去何從？三星、樂金正在改弦更張，台灣呢，以不變應萬變？我常說：「所有的科技都不可靠，唯一可靠的是學習新科技的能力」，而現在的台商，長處就是不管是個人電腦、.com、行動通信、大數據、人工智慧，台灣都是不可或缺的要角。賺得不多，但足堪溫飽，只是台灣如何形成供應鏈中的價值主張與主導地位，則需要有一套完整的論述。過去台灣的供應鏈，甚至背後的半導體都是美系科技大廠基於效率、成本考量建構的，無論從品牌大廠的角度，以及之後在網路世代成為頂尖企業的公司，都是「圈粉」至上，先從建構品牌忠誠度與社群著手，然後慢慢延伸到B2B的雲端服務，提供更完整的資訊與數據服務體系。然而這種專注服務與軟體的經營策略，固然可以讓企業的價值極大化，但疏於耕耘後端供應鏈、製造製程與硬科技的企業文化，導致美國高階製造業不斷流失，這種斷層現象不僅深刻地影響了英特爾、美光（Micron）這些世界頂尖的製造大廠，事實上也連帶地影響台積電、三星在美國布局的生產體系。科技創新可以迅速地擴展到全世界的各個角落，但產業、社會文化的養成需要更長的時間，短期間之內沒有人看得到美國、西歐重拾工業時代的工匠文化，並內省製造工作的價值。不管您喜不喜歡，未來10年台系的供應鏈將更加重要，而台灣也必須重新定義自己在全球供應鏈中的角色與地位。

記憶體產業中個別企業，如何考慮增加HBM頻寬技術方向的選擇呢？SK海力士（SK Hynix）是首先量產HBM的廠家，也是目前HBM市佔率最大的廠家，約佔市場一半的份額，其動向有指標性意義。延伸報導名人講堂：高頻寬記憶體風雲（一）進程技術的分野2023年11月Korean Business報導SK海力士的HBM4將採取2.5D扇出型先進封裝技術，目的是要省卻矽通孔（Through Silicon Via；TSV）昂貴的費用，而且有更多的I/O方式選項。報導中解釋封裝做法是將2片個別的晶片封裝整合成1個，而且無需使用基板，堆疊後厚度會大幅降低。但是完全沒解釋如何將高達12~16層DRAM上下線路連通，而這原是TSV執行的功能。之後的報導都是這個報導的衍生物，未有新的訊息。SK海力士4月19日發布新聞，說與台積電簽訂合作生產下世代HBM的備忘錄。這個合作採用什麼先進封裝技術呢？備忘錄中也未說明，只在末了表示會優化SK海力士的HBM與台積電目前正在使用的CoWoS（Chip on Wafer on Substrate）技術的整合，以響應一般客戶對於HBM的需求。備忘錄中還有一個亮點，SK海力士計劃使用台積電的先進製程來製造前述HBM底層的邏輯晶粒，增加額外功能，以滿足顧客客製化的需求。這個做法以下將展開討論。事實上，SK海力士自己已研發過銅混合鍵合技術，結果也在2022年、2023年發表在學術期刊以及會議論文集（conference proceeding）。另外，SK海力士與英特爾（Intel）和NTT於1月底發布在日本的共同投資，其投資標的也是矽光子。新聞中特別提到記憶體晶片與邏輯晶片的連接，顯然針對的是HBM與CPU/GPU之間連接的應用。只是這投資計畫於2027年量產，對於HBM4的生產是稍為遲了一點。無論如何，SK海力士是做好了兩手準備。台積電早已宣布於2025年開始量產矽光子，雖然起始的客戶可能是其他客戶，但是2026年肯定能用於HBM相關的生產，如果技術的選擇是如此的話。綜合一下上述訊息，SK海力士對於HBM4的規劃大致在原先2.5D封裝或3D封裝之間，取得價格與效能的優化；較長遠的目標則是移往更快、更節能的矽光子。三星電子（Samsung Electronics）也早已驗證以銅混合鍵合16hi DRAM堆疉的HBM，結果也早發表於期刊和會議論文集。三星也在2023 OCP（Open Computing Project）Global Summit中，發表其對於矽光子的想法。前文中類似CoWoS的結構與現今的先進封裝結構相似，開發較容易。但是因為HBM與CPU/GPU底下都得加裝光／電轉換器，而且中介層需要以光通道替代，成本無疑會更高；而HBM置於封裝之外的做法是新嘗試，可能需要更多的發展努力，另外還要腦律散熱問題。無論如何，三星也是做好兩手、短中期準備。但是三星還有自己的邏輯設計、製造能力，包括CPU/GPU的設計和製造生產，它的利害與考慮不一定與SK海力士會一致。美光（Micron）在HBM上是後進者，目前正在急起直追，因此發表或公布的技術方案消息較少。最近的報導是它與其他廠商正在共同開發HBM4，技術方案目前沒有詳細內容，報導只說傾向於採取與南韓廠商不同的方案。HBM4量產預計在2026會先上12hi的，2027接著上16hi的，資料引腳數量會倍增到2,048。HBM4如果有業界共同標準，在2024、至遲2025就應該制定標準並公布，目前似乎離達到產業共識還有一段距離。因為在異質整合技術的採用上仍留有變動空間，而且此一技術選擇將影響記憶體次產業的面貌，甚至整個半導體生態區的重新配置。 

高頻寬記憶體（High Bandwidth Memory；HBM）是具有高頻寬的圖形記憶體（Graphic Memory），其主要的功用是支援高效能運算（High Performance Computing；HPC）或人工智慧運算中與CPU/GPU聯合執行高速的平行運算。  HBM由數個DRAM堆疊而成，每個DRAM中又由許多容量較小的記憶體單元組成。大數量的小記憶體單元以高頻寬的I/O與多核的CPU/GPU相連接，當成平行算中使用的緩衝記憶體。 HBM的統一標準由JEDEC於2013年公布，2015年SK海力士（SK Hynix）率先開始量產。 以最近的產品HBM3E為例，其容量可達36GB，DRAM的層數為8~12層（8hi or 12hi）。最重要的，其資料引線（data pin）數目為1024，代表它可以同時提供1,024個數據平行儲存。為了實施如此高的資料引線，在堆疊DRAM與中介層（interposer）之間使用將近4,000個微凸塊（micro bump），而其間距（pitch）相當緊密—55微米，這已經接近微凸塊技術的密度極限。HBM在多層DRAM堆疊的底層中，還有一個邏輯製程的基底晶粒（base die）。DRAM層與層之間的信號由矽通孔（Through Silicon Via；TSV）連接。目前異質整合HBM與CPU/GPU使用的先進封裝技術為CoWoS （Chip-on-Wafer-on-Substrate），是2.5D先進封裝的一種。在此封裝中，HBM與CPU/GPU置於同一平面上。其下有一個中介層（interposer），HBM與CPU/GPU金屬墊（metal pad）中的信號透過與其黏著的微凸塊、由中介層內的連線（interconnect）送到另一邊的微凸塊上，這就是目前記憶體與邏輯晶片異質整合的工作架構。 當HBM要再進一步演化、擴大頻寬，預計其DRAM堆疊的層數將從原先的8~12層，再成長成12~16層。其數據引腳數則自1,024成長至2,048。所需要的微凸塊數目可能會超越以目前的封裝方式所能提供的。未來的HBM要與其協作的邏輯晶片會以何種方式異質整合，即為目前產業界看法有分歧的地方。  要提供更高的頻寬，目前看到的可能技術有2種：銅混合鍵合（copper-copper hybrid bonding）與矽光子（silicon photonics）。  銅混合鍵合的工作概念相當簡單，基本上是將2個分別製造的晶圓上重分布層（Reditribution Layer；RDL）面相對的黏貼在一起—金屬對金屬、氧化物對氧化物。這樣2個晶片之間的資訊傳遞就不必像傳統封裝的方式：先將一個晶片上的信號用與金屬墊（metal pad）連接的微凸塊引出，再用金屬連線將信號送到另一個晶片對應的微凸塊上。  銅混合鍵合大幅縮短信號傳送距離、降低相應功耗，也改善其他的物理性質譬如寄生電容（parasitic capacitance）以及電阻值。最重要的，它的金屬墊間距（metal pad pitch）可以降到10微米以下，最近的學術文章已開發出400微米的金屬墊間距。這個數據顯示用銅混合鍵合能提供比用微凸塊高1至2階秩的頻寬，對於HBM4的更高頻寬的需求顯然沒有問題，而且還有再進化的空間。  矽光子的基礎運作機制也很簡單：用光子來替代電子，成為傳遞資訊的主要載子。它的好處顯而易見：光子的速度比電子快100倍，而且光子在光纖中或光通道中傳導理論上不會發熱，不像電子在金屬中傳導一定會產生焦耳熱（joule heat）。這個事實的應用其實很早就開始實施了。資料庫之間、資料庫至家戸之間早就以光纖替代電纜，接下來的挑戰是在同一封裝中甚或同一晶片中使用光子傳導資訊此一機制，前者就是現在熱議的共同封裝光學元件（Co-Packaged Optics；CPO），而後者就是矽光子。  目前NPU、GPU元件都已進入CPO中試驗並取得成功。這是CPU/GPU與HBM的整合方案之一。實施矽光子的異質整合方法有2種。一種是沿用前述的2.5D先進封裝結構，將中介層的銅連線改變成矽光子的光通道。另外，由於利用光子來傳遞訊息，CPU/GPU與HBM兩頭都要裝上光/電的轉換元件。這個方法產業比較熟悉，但是成本較高。另一種方法是把HBM置於封裝之外，利用矽光子晶片線路與CPU/GPU連接。這個方法DRAM部分可以維持相當的獨立性，但是開發可能需要較長的時間。 相對的，銅混合鍵合在近年來已漸趨成熟。除了CIS（CMOS Image Sensor）早已派上用途外，像超微（AMD）將CPU與SRAM分別製造後，再用銅混合鍵合異質整合在一個3D先進封裝之中。這些都是此技術成功應用的範例。矽光子與銅混合鍵合就是現在產業界面臨的技術方向抉擇，這個抉擇的後果影響既深且遠。