大勢所趨，網路巨擘建構完整的產業生態系，讓生成式AI在整個轉折過程中處於樞紐地位，而這些網路巨擘從「雲走向端」也是必然的趨勢。過去，終端設備只是連結用戶雲端服務的介面而已，人們使用傳統的手機、電腦，將各種問題拋到資料中心獲得適當的解答。但所有的用戶都憂心自己的提問成為網路巨擘訓練資料中心的養分，用戶從客戶隱私到傳輸的延遲都有疑慮。在用戶修正使用行為的過程中，邊緣運算是最快受惠的族群，這也與台灣傳統的優勢息息相關。無論是AI PC或AI手機，都是第一波驗證邊緣運算的重要機制，台商為主的製造體系或許不是主要的獲利環節，但其他新興國家也很難抗衡。台商無怨無悔地全力投入，加上台積電「讓競爭者看不到車尾燈」的競爭策略，生產製造的學習曲線反倒成為拉大領先差距的關鍵要素。隨著時間的推移，原本隱身在後的台系供應鏈因為台積電突出的表現，以及瞭解台系供應鏈價值的NVIDIA因時而生，台灣在人工智慧的新時代，必然會從隱身幕後的推手，變成協助科技大腕建構全球供應鏈的關鍵夥伴。就像不久之前頻發的地震一樣，當大地動能累積到一定程度時，適當地釋放能量是最好的解決方案。1998年亞洲金融風暴之後，台商睥睨全球的OEM製造體系無法安於台灣的土地、人才條件，往中國移動是釋放能量的選擇，否則台商不會有今天的經濟規模。現在這一波的人工智慧大潮，加上美中貿易摩擦，台灣似乎又到了選擇的時刻。過去政府是心不甘、情不願地放手台商到中國設廠，現在面對的是越南、泰國、印度、墨西哥，甚至捷克、波蘭的新選擇，台灣會主動擬定戰略，還是讓廠商各自尋找生路呢？市值動輒上兆美元的科技大廠，過去只關注侷限於服務核心客群的議題，但現在更期待「整合＋壟斷」，他們正在重塑品牌定位，背後的台商是可以快速回應技術更替，建構超前供應鏈的關鍵夥伴。以代工為主的台商一如既往，仍然是「無害的夥伴」，也預告未來10年將是台灣的黃金十年。

為維持NVIDIA在人工智慧領域的領導地位，NVIDIA除了以CUDA軟體掌握核心價值之外，因身上有台灣DNA，也不斷地強調其與台灣、台積電的淵源，另在實務上NVIDIA甚至還掌握了伺服器供應鏈的核心環節。以H100的晶片為例，DIGITIMES在一年多前報導NVIDIA向SK海力士（SK Hynix）直接採購HBM記憶體的新聞，當時的市場需求讓我們知道「something different」，但不足以讓我們深度理解背後的情境。NVIDIA以H100 PCIe的模組賣給各大伺服器品牌與雲端服務業者，這是我們常見的OEM模式。之後我們開始追蹤NVIDIA以PG 520 PCB的型號將主機板打板的工作交給鴻海，整個系統的組裝交給緯創。NVIDIA以自己的品牌DGX System銷售到市場，甚至以DGX Cloud Service 的服務模式提供給微軟（Microsoft）、甲骨文（Oracle）這些大型系統軟體業者，並量身定做品牌服務工作。NVIDIA提供一條龍的服務，根據客戶需求提供差異化的軟體與硬體架構供客戶選擇。在上游的台積電供應不足的情況下，NVIDIA在不同環節有更高的主導權，也讓其他競爭者望而生嘆。誰在人工智慧的地圖與客戶的雷達上？毫無疑問，在各種戰略配套下，就像台積電在晶圓代工業的實力一樣，NVIDIA建構了AI生態系的深溝高壘，競爭者很難越雷池一步。那麼這些深溝高壘到底包括什麼？我們必須瞭解過去英特爾（Intel）、微軟、蘋果（Apple）創造的模式，也許不會在短期內被推翻，但毋庸置疑的這些傳統運作模式正在被改變，影響力也在削弱中。從前科技巨擘會先掌握發展平台，這個平台會與用戶共構、發展，一旦到了規模之後，特別是針對企業用戶的需求連結雲端的服務。這種經營邏輯之下，代工廠照表操課，除台積電先期布局次世代技術的能力之外，多數供應鏈的廠商只是陪襯的角色，而品牌商的價值也在式微。這完全是符合資本主義、美式、西方成功企業的經營邏輯，甚至可以說，AI新時代的特色就是壟斷！但擁有亞洲人DNA的NVIDIA大不同，黃仁勳動輒強調NVIDIA與台積電的關係，而一年跑台灣三、四次的頻率，也是世界級企業領袖罕見的例子。我相信他不是回台灣吃麻花捲或眷村菜，他回台灣是綁樁來的。除台積電之外，黃仁勳需要鴻海、緯創、技嘉這些重量級的製造大廠，確保整個供應鏈可以與他的總體戰略相匹配，而這個系統短期內很難出現在其他的國家。強大如蘋果、微軟、亞馬遜（Amazon）、Google這些公司，在台灣都有強大的團隊，但NVIDIA絕對是極少數真正理解台灣優勢，並且真正將供應鏈整合在自家經營架構中的超重量級企業。

在人工智慧（AI）的大熱潮中，NVIDIA如何一枝獨秀，我們可以先從伺服器的成本結構看起。傳統x86的伺服器總成本略微超過1萬美元，但搭載8顆GPU的NVIDIA DGX H100系統，總成本將近27萬美元，兩者之間價差相距甚遠。不僅英特爾（Intel）的市值被NVIDIA超越，現在連營業額都輸給NVIDIA，NVIDIA更超越台積電、三星電子（Samsung Electronics），成為全球營業額最大的半導體廠商。NVIDIA的領先優勢，從台積電、SK海力士（SK Hynix）兩大供應商的營收也可以看得出來。在台積電有3奈米、4/5奈米、7奈米幾個主要的先進製程，4/5奈米主要便是供應NVIDIA的GPU之用。在2024年第1季台積電各製程比重變化中可以得知，當專攻3奈米的iPhone出貨走過旺季之後，交貨給NVIDIA的4/5奈米製程成為台積電一枝獨秀的世代。為滿足NVIDIA的需要，原本計劃落腳在銅鑼的CoWos先進封測廠搬遷到嘉義，而CoWos的月產能預期也將從2023年的1.3萬片，暴增到2024年的3.8萬片與2025年的7.6萬片。在記憶體方面，過去幾年三星DRAM部門的營收都是SK海力士的1.5倍左右，但NVIDIA最主要的合作夥伴是2015年率先量產HBM的SK海力士。在景氣轉變的2023年第4季，三星記憶體部門（DRAM+NAND）營收成長率是33%，但SK海力士的DRAM部門成長率高達65%。事實上，從2023年第2季開始，SK海力士的DRAM營收便超過三星，關鍵就是與NVIDIA合作的HBM記憶體。為滿足HBM市場的商機，SK海力士的M15與M17工廠都調整擴廠結構與節奏，希望能快速擴張HBM產能，以滿足高階伺服器市場的需求。台積電魏哲家也說2028年時，AI伺服器晶片的需求將貢獻台積電20%的營收，顯示NVIDIA的兩大供應商都在財報中看好高階伺服器的商機。2020~2022這三年間，全世界半導體廠商的排名依序是英特爾、三星與SK海力士，在以自己的品牌在市場上銷售半導體的公司中，NVIDIA通常只能排名第六、第七。但市場從2023年起開始翻轉，以製造服務取勝的台積電在上半年超越所有的半導體品牌廠，成為全球第一大半導體公司。下半年的NVIDIA更猛，2023年四個季度的營收分別為71億美元、135億美元、181億與221億美元。第1季與第4季的營收差距多達3倍，可以想像十倍速的時代正在發生，能儘快挪動資源的公司將成為市場上最大的贏家。風行草偃，我們看到圍繞在NVIDIA四周的科技公司，都深怕錯過這一波大潮。根據DIGITIMES彙整的預測資料，企業市值名列前茅的大公司中，微軟（Microsoft）、蘋果（Apple）、亞馬遜（Amazon）、Google、三星是年營收超過2,000億美元的超重量級公司，NVIDIA、Meta與Tesla也有1,000億美元以上的規模。但在市值排名前12大的公司中，NVIDIA與台積電的淨利率分別達到52.2%、37.2%，過去的霸主英特爾卻只剩下4.6%。從營收與獲利結構中，我們看到了世代的更替，AI主導的時代已經再明顯不過了！

從NVIDIA、微軟（Microsft），到台灣的台積電、廣達、緯創、鴻海等公司，都不斷地以人工智慧（AI）為主題探索企業的未來。新聞不見得都是真的，但很多新聞串連起來，就可以掌握產業發展脈絡。毫無疑問，可能是產業興衰更替的轉折。DIGITIMES的黃逸平、陳辰妃兩位資深分析師，近期以「生成式AI時代，科技產業大未來」、「生成式AI重塑邊緣運算競爭新局」為題完成兩份報告，我仔細讀完之後彙整成幾篇文章，也跟DIGITIMES的讀者們分享。AI帶來的世代變革AI因為2012年一次深度學習的大躍進而改變。AlexNet在識圖競賽中，大幅將錯誤率從26.2%降低到16.2%，之後GoogLeNet、SENet的幾次進展，讓圖形辨識的錯誤率低到比人類平均5%的錯誤率還低，深度學習不再是紙上談兵，AI在供應鏈管理與智慧製造的進展更讓很多使用者驚嘆。之後，生成式的大語言模型（LLM），在個人電腦、行動通信所累積的數據經濟基礎上大放異彩，我們開始在雲端、邊緣運算上，試著從水平的技術架構，與垂直的分眾應用平台找出市場的空間。現在我們看到的是指數型成長商機，企業界挪動所有可以移動的資源希望分到一杯羹。2020年，基礎模型（foundation model）新創只募得4,400萬美元，到2023年時募到的資金竟然高達163億美元，暴衝的NVIDIA在2023年時投入的企業創投資金已經排名全世界第四，僅次於微軟、蘋果（Apple）等少數公司。但多元分化的大語言模型，未來會是贏家全拿，或者只有少數贏家的現實之外，對台灣產業的啟示又是什麼？過去在行動通信時代「低空飛過」的台灣新創產業，能在AI時代出現新的轉機嗎？對量產製造的台系供應鏈而言，除了台積電是比較明顯的贏家之外，其餘的台商又應如何因應呢？AI改變了產業格局多年來，台灣都是PC與手機的主要供應商，從NB生產衍生而來的伺服器商機，讓現在全球有超過9成的伺服器來自台商之手，台灣成了供應鏈上最具實力的軍火商。DIGITIMES估計，2022年全球高階伺服器出貨量僅有3.4萬台，到2023年暴衝到17.2萬台，成長率高達408%，2024年也還可維持150%的高成長。現在台商都在關注AI PC與AI手機的商機，估計2024年全球11.66億支的手機市場中，AI手機的需求上看1.47億支，而全球1.73億台的NB市場，也會有4,500萬台的AINB需求。除了快速擴張的市場需求之外，大家也都在關切X86陣營與Arm based的優劣勢之爭。原本營收僅是略高於超微（AMD）的NVIDIA，在2022年第4季開始明顯超越超微，而與英特爾（Intel）的黃金交叉出現在2023年的第2季，從此以後雙方的落差明顯擴大，成長動能根本不能相提並論。我們可以理解，從2018年8月全球出現第一家市值超過1兆美元的企業之後，陸續已有7家超越1兆美元的門檻，資本大量流進科技巨擘之手，現在我們更明顯看到NVIDIA的成長曲線，顯示了人才、資金，甚至產能加速匯聚的動能。​​​​​​​一旦您的公司在特定領域取得壓倒性的優勢，您的財富也會跟著聚攏，現在這些科技大腕期待的不是可有可無，一肩之差的領先，而是整個生態系完整包抄的領先優勢（待續）。

在人工智慧（AI）迅速發展的環境中，有關倫理問題以及可能限制其發展的辯論變得日益突出。透過密爾（John Stuart Mill, 1806～1873）的作品《論自由》（On Liberty），我們可以探索合理限制AI發展的觀點，強調在合理的範圍內，個體自由、進步和追求知識的重要性。密爾的《論自由》被嚴復翻譯為「群己權界論」，奠定理解社會控制和個人自由平衡的基礎。我試圖將密爾的哲學應用於當前AI發展的時代背景，以了解如何界定群己權。密爾主張自由開放的思想交流（Self-Development），或「思想市場」 （marketplace of ideas），是社會進步的重要因素。在AI發展的領域中，不受限制的資訊和創新概念流動促進多元觀點環境，有助於知識的成長。密爾強調個體自治（Individual Autonomy）。正如個體應該自由追求自己的興趣和自我發展，AI系統作為人類創造力的延伸，應賦予演進和適應的自主權，以改善人類生活並應對複雜社會挑戰。AI的發展改善人類生活，並增強應對複雜社會挑戰的能力。在此過程中，必須尊重使用者的個體權益，並促進社會和諧。密爾的傷害原則主張（The Harm Principle），限制個體自由的唯一理由是防止對他人造成傷害。密爾的哲學也告訴我們須負責任地謹慎開發AI系統，遵從道德準則並優先考慮人類福祉，讓其發展不會產生本質性的傷害。在AI算法的訓練中，如果基於不公正的資料集或缺乏多樣性而導致歧視性結果，則應限制這類不公平和歧視性的AI應用，確保考慮到社會的多樣性。然而，我們很難限制AI算法，避免其誤入歧途。 可行的方法是在AI晶片的設計中，直接加入艾西莫夫（Isaac Asimov, 1920~1992）的機器人三定律（Three Laws of Robotics），並在晶片製成過程中，將其直接寫入硬體。密爾警告多數的專制（The Tyranny of the Majority），強調壓制少數意見的危險。例如社交媒體平台的AI算法過度強調某一特定觀點，可能形成資訊泡泡（filter bubble），多數用戶僅看到和接觸到相似的意見和觀點。這樣的專制可能使得不同意見的少數群體的聲音被忽視，並進一步加劇社會的分裂和不理解。密爾倡導緊密連結社會進步與知識和創新 （Societal Progress and Innovation） 的追求。AI是人類巧思的體現，從醫療到教育等各個領域實現變革性的進步。然而，AI發展也必須有序權界，社會才會健康的前進。密爾的《論自由》為深入探討AI發展提供重要的倫理框架，強調擁抱個體自由、思想市場和知識追求的原則，是推動人類進步的核心價值。然而，在引導AI發展時，必須謹慎遵循負責任的道德原則。我們可以探索合理限制AI發展的觀點，引導未來AI的方向，確保其符合人類整體利益，並實現可持續、負責任且對人類有益的發展。

2000年，比爾蓋茲因為世界科技大會（WCIT）而到訪台灣，2009年第二任微軟（Microsoft）總裁Steve Ballmer訪台停留了一天，這兩次是微軟掌門人唯二的訪台紀錄。至於英特爾（Intel）總裁Pat Geisger在2023年中三度訪台，是為了拔樁、尋找與台積電對抗的機制，還是為了鞏固台系供應鏈而來呢？從英特爾發布的新聞資料中，我們看不出英特爾在槓桿台灣供應鏈上有更創新的做法。超微（AMD）執行長蘇姿丰也在訪談中提到她出生於台灣。但無可否認的，台灣在世界供應體系中，從過去的隱性價值慢慢浮上水面，成為各大企業爭相合作的戰略夥伴。簡而言之，美系科技巨擘將經營重心放在服務客戶上，NVIDIA挖掘出隱性的供應鏈價值，讓台系廠商，或者包括SK海力士（SK Hynix）在內的供應鏈大廠，開始成為世界舞台上的要角。我們預言系統產品的品牌大廠（如惠普、戴爾、聯想、Panasonic、Sony、三星、樂金等）不一定會消失，但將會像IBM一樣，轉型成為系統整合商，嘗試在軟硬整合、分眾領域成為領導廠商。產業正在分化、重組，不是完全的Upside-down，但也與過去大相徑庭。2024年很多公司都在面對轉捩點，不僅英特爾、微軟，日本的Sony該何去何從？三星、樂金正在改弦更張，台灣呢，以不變應萬變？我常說：「所有的科技都不可靠，唯一可靠的是學習新科技的能力」，而現在的台商，長處就是不管是個人電腦、.com、行動通信、大數據、人工智慧，台灣都是不可或缺的要角。賺得不多，但足堪溫飽，只是台灣如何形成供應鏈中的價值主張與主導地位，則需要有一套完整的論述。過去台灣的供應鏈，甚至背後的半導體都是美系科技大廠基於效率、成本考量建構的，無論從品牌大廠的角度，以及之後在網路世代成為頂尖企業的公司，都是「圈粉」至上，先從建構品牌忠誠度與社群著手，然後慢慢延伸到B2B的雲端服務，提供更完整的資訊與數據服務體系。然而這種專注服務與軟體的經營策略，固然可以讓企業的價值極大化，但疏於耕耘後端供應鏈、製造製程與硬科技的企業文化，導致美國高階製造業不斷流失，這種斷層現象不僅深刻地影響了英特爾、美光（Micron）這些世界頂尖的製造大廠，事實上也連帶地影響台積電、三星在美國布局的生產體系。科技創新可以迅速地擴展到全世界的各個角落，但產業、社會文化的養成需要更長的時間，短期間之內沒有人看得到美國、西歐重拾工業時代的工匠文化，並內省製造工作的價值。不管您喜不喜歡，未來10年台系的供應鏈將更加重要，而台灣也必須重新定義自己在全球供應鏈中的角色與地位。

記憶體產業中個別企業，如何考慮增加HBM頻寬技術方向的選擇呢？SK海力士（SK Hynix）是首先量產HBM的廠家，也是目前HBM市佔率最大的廠家，約佔市場一半的份額，其動向有指標性意義。延伸報導名人講堂：高頻寬記憶體風雲（一）進程技術的分野2023年11月Korean Business報導SK海力士的HBM4將採取2.5D扇出型先進封裝技術，目的是要省卻矽通孔（Through Silicon Via；TSV）昂貴的費用，而且有更多的I/O方式選項。報導中解釋封裝做法是將2片個別的晶片封裝整合成1個，而且無需使用基板，堆疊後厚度會大幅降低。但是完全沒解釋如何將高達12~16層DRAM上下線路連通，而這原是TSV執行的功能。之後的報導都是這個報導的衍生物，未有新的訊息。SK海力士4月19日發布新聞，說與台積電簽訂合作生產下世代HBM的備忘錄。這個合作採用什麼先進封裝技術呢？備忘錄中也未說明，只在末了表示會優化SK海力士的HBM與台積電目前正在使用的CoWoS（Chip on Wafer on Substrate）技術的整合，以響應一般客戶對於HBM的需求。備忘錄中還有一個亮點，SK海力士計劃使用台積電的先進製程來製造前述HBM底層的邏輯晶粒，增加額外功能，以滿足顧客客製化的需求。這個做法以下將展開討論。事實上，SK海力士自己已研發過銅混合鍵合技術，結果也在2022年、2023年發表在學術期刊以及會議論文集（conference proceeding）。另外，SK海力士與英特爾（Intel）和NTT於1月底發布在日本的共同投資，其投資標的也是矽光子。新聞中特別提到記憶體晶片與邏輯晶片的連接，顯然針對的是HBM與CPU/GPU之間連接的應用。只是這投資計畫於2027年量產，對於HBM4的生產是稍為遲了一點。無論如何，SK海力士是做好了兩手準備。台積電早已宣布於2025年開始量產矽光子，雖然起始的客戶可能是其他客戶，但是2026年肯定能用於HBM相關的生產，如果技術的選擇是如此的話。綜合一下上述訊息，SK海力士對於HBM4的規劃大致在原先2.5D封裝或3D封裝之間，取得價格與效能的優化；較長遠的目標則是移往更快、更節能的矽光子。三星電子（Samsung Electronics）也早已驗證以銅混合鍵合16hi DRAM堆疉的HBM，結果也早發表於期刊和會議論文集。三星也在2023 OCP（Open Computing Project）Global Summit中，發表其對於矽光子的想法。前文中類似CoWoS的結構與現今的先進封裝結構相似，開發較容易。但是因為HBM與CPU/GPU底下都得加裝光／電轉換器，而且中介層需要以光通道替代，成本無疑會更高；而HBM置於封裝之外的做法是新嘗試，可能需要更多的發展努力，另外還要腦律散熱問題。無論如何，三星也是做好兩手、短中期準備。但是三星還有自己的邏輯設計、製造能力，包括CPU/GPU的設計和製造生產，它的利害與考慮不一定與SK海力士會一致。美光（Micron）在HBM上是後進者，目前正在急起直追，因此發表或公布的技術方案消息較少。最近的報導是它與其他廠商正在共同開發HBM4，技術方案目前沒有詳細內容，報導只說傾向於採取與南韓廠商不同的方案。HBM4量產預計在2026會先上12hi的，2027接著上16hi的，資料引腳數量會倍增到2,048。HBM4如果有業界共同標準，在2024、至遲2025就應該制定標準並公布，目前似乎離達到產業共識還有一段距離。因為在異質整合技術的採用上仍留有變動空間，而且此一技術選擇將影響記憶體次產業的面貌，甚至整個半導體生態區的重新配置。 

高頻寬記憶體（High Bandwidth Memory；HBM）是具有高頻寬的圖形記憶體（Graphic Memory），其主要的功用是支援高效能運算（High Performance Computing；HPC）或人工智慧運算中與CPU/GPU聯合執行高速的平行運算。  HBM由數個DRAM堆疊而成，每個DRAM中又由許多容量較小的記憶體單元組成。大數量的小記憶體單元以高頻寬的I/O與多核的CPU/GPU相連接，當成平行算中使用的緩衝記憶體。 HBM的統一標準由JEDEC於2013年公布，2015年SK海力士（SK Hynix）率先開始量產。 以最近的產品HBM3E為例，其容量可達36GB，DRAM的層數為8~12層（8hi or 12hi）。最重要的，其資料引線（data pin）數目為1024，代表它可以同時提供1,024個數據平行儲存。為了實施如此高的資料引線，在堆疊DRAM與中介層（interposer）之間使用將近4,000個微凸塊（micro bump），而其間距（pitch）相當緊密—55微米，這已經接近微凸塊技術的密度極限。HBM在多層DRAM堆疊的底層中，還有一個邏輯製程的基底晶粒（base die）。DRAM層與層之間的信號由矽通孔（Through Silicon Via；TSV）連接。目前異質整合HBM與CPU/GPU使用的先進封裝技術為CoWoS （Chip-on-Wafer-on-Substrate），是2.5D先進封裝的一種。在此封裝中，HBM與CPU/GPU置於同一平面上。其下有一個中介層（interposer），HBM與CPU/GPU金屬墊（metal pad）中的信號透過與其黏著的微凸塊、由中介層內的連線（interconnect）送到另一邊的微凸塊上，這就是目前記憶體與邏輯晶片異質整合的工作架構。 當HBM要再進一步演化、擴大頻寬，預計其DRAM堆疊的層數將從原先的8~12層，再成長成12~16層。其數據引腳數則自1,024成長至2,048。所需要的微凸塊數目可能會超越以目前的封裝方式所能提供的。未來的HBM要與其協作的邏輯晶片會以何種方式異質整合，即為目前產業界看法有分歧的地方。  要提供更高的頻寬，目前看到的可能技術有2種：銅混合鍵合（copper-copper hybrid bonding）與矽光子（silicon photonics）。  銅混合鍵合的工作概念相當簡單，基本上是將2個分別製造的晶圓上重分布層（Reditribution Layer；RDL）面相對的黏貼在一起—金屬對金屬、氧化物對氧化物。這樣2個晶片之間的資訊傳遞就不必像傳統封裝的方式：先將一個晶片上的信號用與金屬墊（metal pad）連接的微凸塊引出，再用金屬連線將信號送到另一個晶片對應的微凸塊上。  銅混合鍵合大幅縮短信號傳送距離、降低相應功耗，也改善其他的物理性質譬如寄生電容（parasitic capacitance）以及電阻值。最重要的，它的金屬墊間距（metal pad pitch）可以降到10微米以下，最近的學術文章已開發出400微米的金屬墊間距。這個數據顯示用銅混合鍵合能提供比用微凸塊高1至2階秩的頻寬，對於HBM4的更高頻寬的需求顯然沒有問題，而且還有再進化的空間。  矽光子的基礎運作機制也很簡單：用光子來替代電子，成為傳遞資訊的主要載子。它的好處顯而易見：光子的速度比電子快100倍，而且光子在光纖中或光通道中傳導理論上不會發熱，不像電子在金屬中傳導一定會產生焦耳熱（joule heat）。這個事實的應用其實很早就開始實施了。資料庫之間、資料庫至家戸之間早就以光纖替代電纜，接下來的挑戰是在同一封裝中甚或同一晶片中使用光子傳導資訊此一機制，前者就是現在熱議的共同封裝光學元件（Co-Packaged Optics；CPO），而後者就是矽光子。  目前NPU、GPU元件都已進入CPO中試驗並取得成功。這是CPU/GPU與HBM的整合方案之一。實施矽光子的異質整合方法有2種。一種是沿用前述的2.5D先進封裝結構，將中介層的銅連線改變成矽光子的光通道。另外，由於利用光子來傳遞訊息，CPU/GPU與HBM兩頭都要裝上光/電的轉換元件。這個方法產業比較熟悉，但是成本較高。另一種方法是把HBM置於封裝之外，利用矽光子晶片線路與CPU/GPU連接。這個方法DRAM部分可以維持相當的獨立性，但是開發可能需要較長的時間。 相對的，銅混合鍵合在近年來已漸趨成熟。除了CIS（CMOS Image Sensor）早已派上用途外，像超微（AMD）將CPU與SRAM分別製造後，再用銅混合鍵合異質整合在一個3D先進封裝之中。這些都是此技術成功應用的範例。矽光子與銅混合鍵合就是現在產業界面臨的技術方向抉擇，這個抉擇的後果影響既深且遠。 

數周前NVIDIA執行長黃仁勳在GTC 2024大會上發表新一代的GPU （B100/B200）。這B系列的GPU打破相當多紀錄，首先這GPU是由2顆獨立的晶片並排結合而成，採用台積電先進的4奈米N4P製程，而接合的方式是利用台積電CoWoS（chip on wafer on substrate）先進封裝技術。每一個晶片內涵1,080億個電晶體，這是首次單一晶片電晶體的數目超過1,000億顆，2顆加總共有2,160億顆。1980年代我們在唸半導體的時代，1個晶片所含電晶體的集成度，由SSI（small scale integration），到MSI、LSI以及最後的VLSI（very large scale integration）。VLSI所定義的單一晶片所含電晶體的數目，也不過是100萬顆。現代的科技將這個數字推進10萬倍。我們都知道GPU的算力跟電晶體的數目是直接相關，要增加電晶體的數目，一則是利用微影技術縮小電晶體的尺寸，另一則則是增大晶片的面積。就增大面積而言，在NVIDIA B系列前三代的GPU（H / A / V系列），晶片的面積就已經超過800平方釐米，將近3公分的平方。事實上這晶片面積，包括B系列在內，已經是12吋晶圓的極限，若繼續擴大晶片的面積，良率及在1片晶圓所能產生的晶片數目，都會受到很大的影響。在無法繼續增加晶片面積的限制下，將2顆晶片利用先進的封裝技術，緊密並排在一起，如同1顆大的晶片，將會是未來的常態。蘋果（Apple）M1 Ultra處理器，就是由2顆M1晶片並排組合而成。弔詭的是，這回B系列GPU使用的是台積電進階版N4P製程，與前一代H系的N4相比，根據台積電所公開的數據約是效能提升6%。然而，以單顆B系列的晶片為例，其電晶體的數目相較於H系列，增加約30% （1,080億顆 vs 800億顆）、功耗約略減少30%（500瓦 vs 700瓦），換言之，效能提升將近50%。除非NVIDIA在B系列的GPU設計架構上，做了重大突破，否則很難想像這50%的效能改善是從何而來？個人認為很大的改善在於，這2個晶片中的數據傳輸的損耗大幅下降。2個晶片中所傳輸的數據量是10TB/s，也就是每秒傳輸10的13次方的數據量，而M1 Ultra的數據量卻是2TB/s。緊密結合晶片中的數據傳輸所產生的功耗，是遠小於數據由晶片傳輸到印刷電路板上，再到另一個晶片上。兩者之間的功耗差距，除了距離長短之外，晶片與電路板間的阻抗不匹配，都會造成傳輸上的損耗。換言之，在不斷需要提升算力的同時，利用先進封裝將幾顆運算晶片，緊密地結合在一起，未來將會是一個關鍵。如同利用矽光子及CPO（co-package optics）技術，將資料中心的交換器，大幅地減少其功耗及增加傳輸數據，是相同的道理。算力除了跟晶片效能有很大的關係外，也跟計算機的架構有關。我們以人工智慧運算及量子運算為例，最古典的運算如附圖（Ａ）所示。運算猶如一排車陣中，靠時序的控制（sequential control），一部車啟動後接著另一部，到最後一道指令，才完成整個車陣的紓解。然而在AI的運算中如附圖（B）所示，使用大量平行運算，１個GPU內部包含了數以千計的運算核心，因此算力遠大於古典的運算，但基本上仍存在時序的控制。量子運算就完全不同了，如附圖（C）所示，在並排的車陣中利用量子的糾纏（entanglement），就宛如一張網絡將所有的車子四面八方的圈住在一起，沒有時序的控制，一聲令下就全員移動，因此算力又遠大於AI，相較之下所耗損的功率卻少了很多。然而要產生量子糾纏，必須要在極嚴苛的環境下產生，如超低溫及超低雜訊，有太多不可控因素，所以時不時會有錯誤發生。個人淺見是，量子電腦很難成為一個商品化的產品，更談不上可靠度及品質管理系統。最有可能是大型的研究機構或大公司的研發部門，擁有台量子電腦，而且每售出1部量子電腦，原廠就得要有一組工程及技術人員進駐該單位。不可否認算力即國力，GPU/AI的算力在未來一段時間內，仍然會是主流。在算力不斷地被要求提升之下，晶片的功耗及訊號的傳輸量，會是瓶頸之所在。先進的封裝技術如CoWoS，將會是各國所關注的焦點。

2024年的台灣國際科展邀請我進行大師講座，分享AI「做中學」。生成式AI（generative AI）的出現，對人文及科學會造成不小影響，很多高中老師避免思考生成式AI對他們專業的影響。生成式AI開始侵襲某專業時，專業人士難免有抗拒之反應。過去對「專業」無條件的接受，似乎是台灣學校教育的普世價值，今日，這種執著很危險。當生成式AI輾壓人類的專業時，或許正是我們進行反思的最好時刻。專業知識的灌輸並不足以培育完整的個體。通過專業教育，雖然可以訓練一個人成為實用的工具，但不能保證他能成為一個和諧發展的人。培養學生對價值觀的理解和情感上的投入更為重要。他們需要具備對美和道德的敏銳辨識力，以建立更全面的個人發展。否則，即便擁有豐富的專業知識，可能只是像一隻經過良好訓練的狗。生成式AI最擅長學習專業，更容易勝過人類，被訓練成為比人類更厲害的機器狗。全盤接受「專業」不對，完全臣服於「生成式AI」也不妥。要避免被AI取代，必須超越專業訓練的思維，思考自己本業能更進一步創造的價值。這個價值是甚麼，會隨領域而不同，只能各自嘗試體會。貝克特（Samuel Beckett, 1906～1989）說: 「嘗試過、曾經失敗過， 沒關係。 再試一次、 再次失敗，我們會失敗得更好。」這是我們面對AI時代的狀況。必須「我無法繼續下去，但我會繼續。」貝克特是上世紀五十年代「荒謬劇場」的主要作家之一。「荒謬劇場」主要成員是歐洲劇作家，以荒謬小說戲劇而聞名，探討當人類失去存在目的時會發生什麼，展示從邏輯溝通到非理性和不合邏輯，最終導致沉默的過程。貝克特於1969年獲頒諾貝爾文學獎，表彰他以小說和戲劇的形式，在現代人的貧困中獲得卓越（in the destitution of modern man acquires its elevation）。貝克特的許多作品都聚焦於人類在生活中無法克服的荒謬情境，包括《墨菲》（Murphy；1938年）、《等待果陀》（Waiting for Godot；1953年）、《克拉普的最後錄音》（Krapp’s Last Tape ;1958年）和《幸福時光》（Happy Days ;1961年）。 這幾本書很值得年輕學子閱讀，從中尋找AI造成人類貧困時代（destitution）的生存之道（elevation）。年輕人可能迷惘於等待何種AI果陀，但千萬不要氣餒躺平。馬克吐溫如是說: 「 二十年後，你將會感到更多的失望。你會對於未做的事情感到遺憾，而不是對於你已經做過的事情。這意味著，要避免這種結果，你必須擺脫阻礙你的限制。遠離安全的港灣，投身於狂風肆虐之地。探索、夢想並勇往直前。」 在AI時代，必須如此。《等待果陀》的果陀是何物，貝克特沒揭曉答案，因此眾說紛紜。等待果陀，時光易逝。布朗寧（Robert Browning）說: 「和我一起變老！最好的尚未來到，……青年不過展現人生一半：相信上帝，看見所有，也不要懼怕！！」在AI時代讀此句子，更有感觸。我希望，年輕的學子終能找到他們的AI果陀。