實踐機房綠色轉型,從容佈建AI算力 智慧應用 影音
Event
member

實踐機房綠色轉型,從容佈建AI算力

  • 闞大成DIGITIMES企劃

DIGITIMES每年舉辦企業機房論壇。優質傳統已成為供應商與用戶溝通的首選平台!2024年活動主題:資料中心的綠色奇「機」,吸引將近700位聽眾報名參加。。DIGITIMES攝
DIGITIMES每年舉辦企業機房論壇。優質傳統已成為供應商與用戶溝通的首選平台!2024年活動主題:資料中心的綠色奇「機」,吸引將近700位聽眾報名參加。。DIGITIMES攝

時至今日,AI算力需求已經正式超越摩爾定律;意謂誰能擁有最強大的算力,誰就越有機會駕馭AI,進而躋身市場新贏家。然而大家皆知,AI伺服器對散熱需求之高、遠遠超乎一般運算;在此情況下,意欲掌握AI所需要的高效穩定運算資源,必須先讓自己的資訊機房克服高熱密度挑戰。
為了協助企業能安然順應AI應用狂潮,DIGITIMES遂將日前舉辦的2024企業機房論壇主題,設定為「資料中心的綠色奇『機』」。期望從資料中心的綠色能源轉型出發,進而針對AI時代的賦能革命、數位韌性、永續發展等關鍵議題進行深入研討。

EPI專家劃重點,剖析TIA標準更新的影響

Vertiv的Liebert XDU Coolant Distribution Units解決方案,標榜能夠以優異液冷技術、有效克服高密度熱挑戰,因而躍為AI時代的新寵。

Vertiv的Liebert XDU Coolant Distribution Units解決方案,標榜能夠以優異液冷技術、有效克服高密度熱挑戰,因而躍為AI時代的新寵。

施耐德(Schneider) 透過「建構永續的用電未來」的智慧機房主題設計,展示專為嚴峻環境而生的MDC微型資料中心方案。DIGITIMES攝

施耐德(Schneider) 透過「建構永續的用電未來」的智慧機房主題設計,展示專為嚴峻環境而生的MDC微型資料中心方案。DIGITIMES攝

伊頓(Eaton)鎖定綠色企業機房議題,展出微型資料中心、電力管理、配電系統、鋰電池方案與3D可視化監控管理系統。DIGITIMES攝

伊頓(Eaton)鎖定綠色企業機房議題,展出微型資料中心、電力管理、配電系統、鋰電池方案與3D可視化監控管理系統。DIGITIMES攝

位居資料中心翹楚的中華電信,此次祭出「衛星機房2.0安心選」等數項IDC優惠方案,成功吸引許多與會者的目光。DIGITIMES攝

位居資料中心翹楚的中華電信,此次祭出「衛星機房2.0安心選」等數項IDC優惠方案,成功吸引許多與會者的目光。DIGITIMES攝

在全閃儲存界極富盛名的Pure Storage,憑藉較同類機種減少85%耗電、資料減量、超高密度閃存、Evergreen等特色,凸顯永續競爭力。DIGITIMES攝

在全閃儲存界極富盛名的Pure Storage,憑藉較同類機種減少85%耗電、資料減量、超高密度閃存、Evergreen等特色,凸顯永續競爭力。DIGITIMES攝

兼具電子元件、資安與網管等整合服務能量的翰特科技,這回攜手Fluke力推PoE工業物聯網連線品質驗收及光纖檢測工具。DIGITIMES攝

兼具電子元件、資安與網管等整合服務能量的翰特科技,這回攜手Fluke力推PoE工業物聯網連線品質驗收及光纖檢測工具。DIGITIMES攝

威圖(Rittal)是全球知名的機箱機櫃、配電組件、溫控系統廠商,近期主打包括微型資料中心在內的邊緣AI基建方案。DIGITIMES攝

威圖(Rittal)是全球知名的機箱機櫃、配電組件、溫控系統廠商,近期主打包括微型資料中心在內的邊緣AI基建方案。DIGITIMES攝

宏正(ATEN)提供遠端集中控管、電源管理、專業級機櫃、結構化佈線…等豐富方案,堪稱機房/中控室領域的要角。DIGITIMES攝

宏正(ATEN)提供遠端集中控管、電源管理、專業級機櫃、結構化佈線…等豐富方案,堪稱機房/中控室領域的要角。DIGITIMES攝

朋昶數位科技與Palo Alto Networks強強聯手,重磅展示Prisma Cloud解決方案,旨在協助企業落實混合雲資安管理,更安全地交付程式碼。DIGITIMES攝

朋昶數位科技與Palo Alto Networks強強聯手,重磅展示Prisma Cloud解決方案,旨在協助企業落實混合雲資安管理,更安全地交付程式碼。DIGITIMES攝

大型主機對電力的要求,與一般設備有4點不同。一是分類,二是持續性,三是穩定性,四是平衡。DIGITIMES攝

大型主機對電力的要求,與一般設備有4點不同。一是分類,二是持續性,三是穩定性,四是平衡。DIGITIMES攝

節能與永續之所以蔚為顯學,首先拜AI發展所賜,其次是配合PUE未來目標,他預估今後水冷、液冷必成主流,如此才能將PUE壓在1.3以下。DIGITIMES攝

節能與永續之所以蔚為顯學,首先拜AI發展所賜,其次是配合PUE未來目標,他預估今後水冷、液冷必成主流,如此才能將PUE壓在1.3以下。DIGITIMES攝

TIA-942-C新標準將原本一些硬性要求予以鬆綁,以利符合不同地方的條件。此外Micro Edge Data Center算是新增的一環,也讓TEAM(Telecom、Electrical、Architectural、Mechanical)4個範圍允許接受更多的新技術。DIGITIMES攝

TIA-942-C新標準將原本一些硬性要求予以鬆綁,以利符合不同地方的條件。此外Micro Edge Data Center算是新增的一環,也讓TEAM(Telecom、Electrical、Architectural、Mechanical)4個範圍允許接受更多的新技術。DIGITIMES攝

建造機房就像建造房子,務須滿足住戶需求。以往主要滿足CPU或一般Service,如今AI資料中心以GPU設備為主,與一般需求截然不同。DIGITIMES攝

建造機房就像建造房子,務須滿足住戶需求。以往主要滿足CPU或一般Service,如今AI資料中心以GPU設備為主,與一般需求截然不同。DIGITIMES攝

2024企業機房論壇,在EPI資料中心亞洲區導師/顧問李裕後的演講揭開序幕,而他探討的主軸為TIA-942-C資料中心標準更新。李裕後首先介紹EPI,該公司於1987年在英國成立,使命就是保護客戶利益,至於如何保護?主要仰賴三個部分,包括資料中心的設施認證、資料中心的營運認證,乃至人員訓練與認證。多年來EPI獲得許多獎項,其中包含TIA Gold Leader。

在2024年5月,TIA-942-C新標準正式出爐。他認為有幾個較重要的改變影響,首先是將TIA-942後面幾個附錄(Annexes)從Informative變成Normative層級,真正躍升為稽核標準。像是附錄A,需要和其他工程師協議安排機櫃、空調、消防、照明…等設施在現場的位置。除此以外,包括附錄B、C、D、F等項目同樣需要遵循。

其次擁有重要影響性的部分,在於將Rating Table納為正式標準的一環,共計有4個Rated等級,其中顯著的變革為「Focus on Outcomes」,以往TIA有眾多規範、蘊含不少硬性要求,現在趨向鬆動,以「Outcomes」為依歸,端看你能否達到預期目標,不再硬性指定某種方法,賦予更多彈性。

另針對標準當中的一些用語,寫得更清楚,如Rated-3的「Concurrently Maintainable」,意指在維護設備時,不要干擾IT運作;上一版僅針對空調、電力等設施做規範,現在加上安全性考量。至於Rated-4的「Fault Tolerant」則更加清楚,意指一邊掛掉、另一邊自動起來,不能手動。

總結來說,TIA-942-C將原本一些硬性要求予以鬆綁,以利符合不同地方的條件。此外Micro Edge Data Center算是新增的一環,也讓TEAM(Telecom、Electrical、Architectural、Mechanical)4個範圍允許接受更多的新技術。關於Certification,業主可選擇停留於TIA-942-B,或立即升級到TIA-942-C。

資料中心啟動綠能轉型,逐年減少灰電用量

接著由中華電信高級工程師薛人豪開講,他引述OVUM報告指出,亞洲地區含台灣在內多數企業,偏好進駐網路中立性資料機房,目前中華電信推動的機房亦朝此目標前進。

另中華電信有鑑於香港、新加坡皆因海纜較多之故,得以在亞洲資料中心名列前茅,故近年積極投資海纜。除重視網路資源外,中華電信亦大力擁抱綠能,希望2030年IDC用電100%由再生能源支應、不再摻雜灰電。

為順應政府或企業用戶不同應用需求,中華電信供應多元冷卻方案,除最基本下吹式空調外,也開始提供風牆,將單櫃用電推升到8~20kW;甚至提供水冷背板、直接液冷、沉浸式等方案,支援更高的單櫃用電量。此外中華電信近期與Equinix啟動合作案,若客戶規劃在海外設點,可由中華電信提供一條龍服務,包括提供顧問、協助向當地Equinix下單。

透過3D可視化管理,延長機房設施Uptime

伊頓飛瑞伊頓產品行銷與應用協理江嘉倫表示,資料中心管理者經常面臨諸多挑戰,主要可歸納為7大重點,包括資產管理、容量管理、動力管理、環境監控…等。

因此多數管理者皆期望擁有單一融合平台,一次看到所有狀況。為此伊頓提出Brightlayer Data Center Suite數位整合平台,將其現在與未來所有設備軟體建構於此;且Brightlayer為開放架構,用戶可藉由編程、整合或套用預置模組,甚至隨時調整功能設置,實現各種管理目標。

更重要的,Brightlayer以數位分身(Digital Twin)技術為基底,以合宜的授權成本為前提,協助企業快速製作3D模型、實現數位虛擬機房,達到資料中心最高可視性,以利即時採取控制、追蹤、變更或優化等手段,延長機房設施的Uptime。

90%液冷+10%氣冷,支持136kW單櫃熱密度

Vertiv Taiwan大客戶業務暨熱管理技術顧問王仁佑指出,Vertiv是一家專為資訊機房提供關鍵基礎設施的全球供應商,End Market部分以資料中心為最大宗。

隨著GenAI Server、HPC需求湧現,造成Hot Chips等重大影響,使目前承載超級運算伺服器的機櫃功率密度達到1.2kW,較過往200~300W大增逾5倍,驅使許多企業思索如何加速建置AI機房,期望選用適當的冷卻系統,實現PUE降低效果。

綜觀電力系統,從低壓配電盤、UPS、資訊機房Busway,直到終端機櫃裡的PDU,Vertiv皆有完整方案。至於Cooling,更是Vertiv最前身Liebert的起家強項,舉凡精密空調箱或液冷世代的CDU都可供應。現已能透過「90%液冷+10%氣冷」配置模式,支援單櫃熱密度136kW,助客戶從容布局AI運算。

永續長青訂閱模式,避免產生過多電子廢料

Pure Storage技術經理楊建國強調,隨著法規實施,使淨零碳排不只是口號,已形成具體的遵循壓力;另上游業者開始要求下游廠商提供綠電承諾與保障,許多廠商為避免訂單流失,亦需設法提升減碳能力。

肇因於GPU Server啟用,可預見資料中心將成為吃電大怪獸。為解決此難題,Pure Storage做了幾件事情,首先從2012年至今不斷改進產品執行效率和節能管理機制,使每TB耗能大降逾200倍。

其次透過致力打造高密度DFM閃存、強化資料減量能力、營造永續長青的機體設計等3大方向,協助企業實踐節能減碳。譬如Pure Storage提出Evergreen訂閱模式,承諾每3年為客戶更換新控制器,以延長儲存設備使用年限,既減少電子廢料產生,也幫助客戶卸除資料遷移、停機安排等管理重擔。

雲間航行,務須強化跨雲資安管理

Palo Alto Networks雲端資安架構師張仁江指出,現在許多企業有跨雲需求,需要在雲間航行過程採取適當資安策略。

雖說公有雲業者可協助分擔一些風險與責任,但綜觀企業資安拼圖,其實很大一塊落在跨雲管理。以AWS、Azure、GCP、Oracle和Alibaba五大雲而論,彼此細部設定天差地遠;加上CLI、Web Console、IaC不同管理方式,在在徒增跨雲管理的複雜度,也提高跨雲資安管理難度。

所幸Palo Alto的Prisma Cloud,提供完善的跨雲自動化風險檢查與管理機制,內含逾1,500種開箱即用的設定檢查規則、逾75種法規架構及最佳實踐,輔以對自定義政策的高度可視性,足以協助客戶檢查雲端設定、釐清應用程式有無符合最佳安全設定,輕鬆實現良好的跨雲資安管理。

策略化、數位化、脫碳化,實現綠色資料中心

施耐德電機永續發展事業部經理劉彥均表示,其有感於氣候變遷、全球升溫趨勢下,企業亟需落實永續策略,因此提出三步驟方法,以協助資料中心進行永續轉型。

他強調資料中心是數位世界的基石,根據IDC研究報告,資料中心將在往後20年內增加兩倍容量;足見今後資訊機房的能源耗用狀況令人憂心,凸顯永續轉型必要性。

為因應市場壓力與趨勢,施耐德提出三步法,包括策略化、數位化、脫碳化。先依據自身能源耗用情況,設定淨零排放目標,包含繪製永續轉型減碳路徑圖;其次利用數位化方式,針對能源使用實施更精細化與透明化管理;再來導入再生能源,乃至在價值鏈上下游進行減碳,實現永續轉型的最後一哩路。

國網中心擘建超級電腦,支持HPC與AI發展

國家高速網路與計算中心組長王順泰指出,該中心現已擁有大量對外營運的超級電腦主機。2017年建置台灣杉一號,共630台節點、效能為1.7 PFLOPs。2018年建置台灣杉二號,共252台V100 GPU節點、效能為9 PFLOPs。2020年建設台灣杉三號,共900台節點、算力為2.7 PFLOPs。

去年底(2023)國網中心建置台灣杉四號、現更名創進一號,旨在取代今年下線的台灣杉一號;其內含40台Arm節點、552台x86節點,算力為3.5 PFLOPs。此外國網中心今年針對晶創計劃,建置新一代高速運算主機,整個採用GPU架構,以滿足大型生成式語言模型訓練需求,同時提供AI運算共用服務,預計算力可達16 PFLOPs,可望成為台灣最快的高速運算主機。

上述大型主機所在的機房基礎設施,涵蓋極早期偵煙系統,負責偵測主機或纜線因高溫所釋放的粒子氣體,及早通知管理者。機櫃排列分為封閉式冷通道、封閉式熱通道,各有各的好處,端看機房實際狀況來選擇。另外有環控系統,針對機房內溫度、濕度、冷卻、空調、電力等因子進行監控與管理。

而大型主機對電力的要求,與一般設備有4點不同。一是分類,其採取叢集架構,其間每台伺服器的工作不同,須根據功能特性做分群,再依其關鍵性配置不同供電系統。二是持續性,為主機登入、儲存、管理等關鍵節點群接上UPS,避免因斷電而停止服務。三是穩定性,針對電力運轉效率、供電品質及電網可靠度有更高要求。四是平衡,特別注意三相電流平衡,避免造成主機溫度上升、效率下降。

正確啟用GPU與CPU,加速驅動生成式AI發展

AWS SSO Compute Go-To-Market Specialist Miley Shih表示,現在AWS運算服務Instance Type達750種,若以供應商區分,除大家熟知的Intel、AMD和NVIDIA外,另有一項與節能減碳至為相關的CPU,即是AWS自研晶片Graviton。

論及生成式AI,大家都關注GPU,其實如果放大檢視整個生成式AI履歷,從前面的資料收集、資料分析處理,乃至後端完成推論後產生應用程式,可能透過API來Trigger模型,這幾段並不適用GPU平行運算架構,宜以CPU為依歸,否則會有大材小用之感,此即為Graviton派上用場的地方。

Graviton適用的場景甚多,例如在GenAI歷程中執行Hadoop、Spark等大數據分析服務;它相較於x86的優勢在於高性價比,若以執行相同Workload做比較,Graviton比起x86成本便宜20%、效能高出20%、排碳量減少60%。

規劃液冷管線,滿足新一代GPU設備散熱

林口長庚人工智能核心實驗室副主任林器弘,從User角度,分享醫療AI高速運算需求下的電腦機房規劃之道。

他指出隨著生成式AI爆紅,由下而上帶動基礎層、資料層、應用層各項需求同步攀升,也促使林口長庚決定興建新的AI機房。建造機房就像建造房子,務須滿足住戶需求,以往主要滿足CPU需求、或一般Web Service需求,如今AI資料中心以GPU設備為主,與一般需求截然不同;以機櫃功率密度來看,過往CPU機櫃多落在2~18 kW,反觀GPU機櫃可能動輒30、50、100甚至200kW,差異極大。

無論如何,最終需要做出一個能讓AI安穩進駐的機房,舉凡可靠度、技術創新性都值得考慮,像是配電、綠電,乃至水路、空調回收應用,甚或進一步關於資訊安全、實體安全,每個環節皆需審慎評估。

談到林口長庚的人工智能核心實驗室,2015年成立時僅使用約3坪小機房。2018年啟用的二代機房,是與資訊部門合作建構而成,其中配置大量GPU設備。因不敷使用,現已展開三代機房建置規劃,期望具有更好的AI訓練和推論效率,及更安全可靠的參觀動線與作業環境,且可通過Tier 3認證。另預估後續新的GPU設備需要採取液冷方式,故在新機房規劃中特別保留液冷管線,並預估第一期PUE約1.26,第二期可望進步到1.09。

切實做好測試驗收,確保PoE連線品質無虞

翰特科技Fluke網路認證講師蔡少塵,以「連網供電前,智慧機房PoE真的準備好了嗎」為題發表演說。他表示近3~5年PoE呈現爆炸性成長,係因CCTV、WiFi…等應用愈趨普及。回顧PoE從早期IEEE 802.3 af到現今802.3bt Type 4,不論PSE端送電/PD端受電的瓦數都大增,從一開始15W/12W到現在最高90W/71.3W。

此外從前實作PoE時不太注意網路線等級,Cat 5e、Cat 6A都堪用;但目前若想使用POE++,必須使用Cat 6A、且是4對線供電。至於PoE供電類型,建議採用End-Span(末端跨接法)。

PoE供電後往往會遇到挑戰,有的源自實體層纜線問題、或各線對間電阻不平衡…等。欲排除連線品質障礙,需藉助如Fluke提供的有效工具,逐一驗證電纜連通性、電纜連線品質、網路可用度、PoE實際供電狀態。

落實永續設計,避免製造更多電子垃圾

日立儲存(Hitachi Vantara)資深技術經理林祈禎指出,以現今大環境來看,因AI等主流應用飛速發展,導致資料中心所需處理的資料量爆增,連帶使能耗、碳排量持續攀升;且隨著設備效能與功能汰舊換新,也加速產製更多電子垃圾。

影響所及,ESG永續、循環經濟成為當今重大課題。為求身體力行實踐永續目標,日立儲存多年前便自許為氣候變遷創新者,積極參與聯合國氣候變遷大會並做為主要贊助商,更藉由永續設計方法,促進儲存系統延長使用壽命,並以最少元件完成產品升級換代,而非整台報廢。除了運用永續概念來發展每一代產品,日立儲存也致力爭取ESG相關認證,譬如取得ENERGY STAR Data Center Storage v2.0認證,亦透過CFP公正機構驗證其碳足硛揭露報告。

因應AI熱潮,及早關注機房節能永續

台灣建築調適協會理事長王獻堂,闡釋「AI(ESG)爆紅,資訊機房得更節能(永續)」,他強調不論節能或永續,都是企業C-Level關注重點。節能與永續之所以蔚為顯學,首先拜AI發展所賜,其次是配合PUE未來目標,他預估今後水冷、液冷必成主流,如此才能將PUE壓在1.3以下。

他接著說,站在顧問立場,每當遇到機房專案時,會先詢問業主使用需求為何,如需要建置幾櫃、每櫃多少用電量、PUE期望值為何…等。下一步他會綜整這些需求,與國際標準Mapping,而非降格於水電工角色、看到電就插,那會是一場災難,畢竟品質、安全都是不容妥協的要項。若用戶需求不明確、標準定義不清楚,後面規劃設計都會亂了套。

永續浪潮不容迴避,企業必須接受它,設計對應KPI。他認為與環境有關的議題,都適合使用卡路里模型,以利洞察規劃時會在哪裡卡關、最佳實施路徑為何,有了路徑後,再據此訂定里程碑,知道什麼時間該做哪些事情。

欲檢視資料中心是否符合低碳,王獻堂建議可研讀建築研究所公告,釐清機房建築外殼用料所產生的「蘊含碳」,及機房用電所產生「營運碳」。至於如何改善PUE也不難,假設IT用電量為100不變,需設法將空調用電佔比從過去4~5成砍半,其餘損耗部分至少降幾個%,才能將PUE減為1.3;倘若未來AI應用熱潮延燒,動輒可見逾40kW高密度機櫃,冷卻方案選項反而單純,不必再考量Crack或In Row,直接挑選水冷或液冷即可。


關鍵字