劉德音：CoWoS短缺只是暫時 1年半後趕上需求
- 陳玉娟／台北
-
台積電董事長劉德音於SEMICON Taiwan 2023大師論壇發表專題演講，會後接受媒體聯訪時表示，台積電CoWoS技術與NVIDIA的CUDA軟體一樣發展了15年，近期CoWoS先進封裝需求暴增3倍，主要是AI應用需求大增，許多雲端服務商爭相增加資本支出所致。
短期內會儘量支援客戶，目前雖無法完全100%滿足，但大概也可以提供80%產能，台積電目前積極擴產因應，預期1年半後就能趕上客戶需求，現階段短缺應只是暫時現象。
劉德音表示，90年代後期，由IBM的深藍（Deep Blue）超級電腦擊敗世界西洋棋冠軍Garry Kasparov，展現了超級電腦技術的突破性發展，也讓我們看到「高效運算」有朝一日超越人類智慧的可能性。
接下來10年，AI應用於許多實際任務，例如臉部辨識、語言翻 譯、電影和商品推薦。再接下來的10年，AI進步到另一個層次，能夠「匯整／合成知識」。
AI應用的突破性發展來自三個因素。首先是高效深度學習演算法的創新；其次 是透過網路取得的大量訓練資料；第三是半導體技術的發展提升了節能運算的 能力。
AI發展過程中的幾個重要里程碑是由當時領先的半導體技術實現的。例如，深藍採用0.13微米技術，深度神經網路的初始圖像辨識採用45奈米技術，著名的AlphaGo採用28奈米技術，最初用於訓練的ChatGPT伺服器採用5奈米技術，最近的ChatGPT則是由台積電4奈米技術生產的伺服器提供支援。
在過去5年，AI訓練所需的運算能力和記憶體容量增加了好幾個數量級。例如，GPT-3 模型需要超過5,000 peta-FLOP-days（5E18 Flop-days）的運算量和3兆位元組（3E12位元組）的記憶體容量。
生成式AI應用所需的運算能力和記憶體仍在快速成長，自從積體電路發明以來，半導體技術一直在進行尺寸微縮，現今整合技術已提升了一個層次，將許多晶片整合到一個緊密且大規模互連的系統中。
這是我們十多年來見證到的半導體技術整合中的「典範轉移」。我們超越了2D微縮，進入到3D系統整合。在AI時代，系統的能力與系統中整合的元件（或電晶體）數量成正比。
對AI來說，3D SoIC是另一項愈來愈重要的關鍵技術。現今傳統的高頻寬記憶體（HBM）依賴矽穿孔（TSV）和焊接凸塊進行堆疊。台積電的3D SoIC技術可以為現今的HBM技術提供替代方案。
AI訓練使用的GPU晶片已經達到光罩曝光面積限制，其電晶體數量約為1,000億個。電晶體數量增加趨勢的延續需要由多個與 2.5D或3D整合互連的晶片來執行運算。
十年內，多晶片GPU預估將由超過1兆個電晶體組成。透過互連間距的微縮， 將有足夠的空間容納更多比目前更大的SoIC互連數量。將互連密度進一步提高 一個數量級或甚至更高並沒有基本限制。
這些創新的硬體技術如何對系統效能做出貢獻呢？針對伺服器GPU的能源效率（EEP）趨勢，在過去的15年中，半導體產業約每2年將能源效率提高了3次，此趨勢必將延續下去，也會受到許多創新的驅動。
特別的是，CoWoS和SoIC的發展將協助提高能源效率。此外，系統技術協同優化（STCO）等概念將變得愈來愈重要。由於高效運算系統由大量執行大型AI模型的晶片組成，高速有線通訊可能很快將會限制運算速度。
現今，光互連已用於連接資料中心的伺服器機架，光學介面可望很快與GPU 和CPU配置在一起，為GPU到GPU的通訊提供能量和區域效率擴展頻寬。因此，數百台伺服器將成為具有統一DRAM的單一巨型GPU。
在此領域，台積電的緊湊型通用光子引擎（Compact Universal Photonic Engine）技術將扮演重要的角色，利用SoIC技術來整合在GPU和路由器交換器旁邊的積體電路（EIC）及積體光路（PIC）。在AI應用的推動下，矽光子技術將成為半導體產業的關鍵技術。
1980年，加州理工學院發明一種電腦輔助設計積體電路方法，使用一套設計法則來描述晶片微縮製程技術，因此電路設計人員無需具備太多製程技術知識即可輕鬆設計VLSI電路。
在現今3DIC的領域，設計的部分包括VLSI設計、系統架構設計和軟體/硬體 優化設計。製程技術的部分包括晶片微縮技術、3DIC技術和先進封裝技術。同樣的，我們需要一種描述語言來定義所述技術，並將其轉換為EDA技術檔，以便設計人員設計3DIC系統。
這正是最近台積電推出3D Blox的目的，它使用通用的解釋標準來描述各種3DIC技術。設計人員可以自由地進行3DIC系統設計，而無須理會基本的3DIC技術。3D Blox已被現今大多數科技公司和EDA公司所接受。
在AI時代，半導體技術是新AI能力和應用的關鍵推動力。在過去50年，半導體技術的發展就像走在隧道裡一樣，前方有明確的道路，每個人都知道要縮小電晶體。
如今，我們已經抵達隧道的出口。半導體技術的開發日趨艱難，然在隧道之外，未來充滿更多可能性，我們不再受隧道的束縛。
