國內數據中心白皮書!揭秘六個產業趨勢、“東數西算”高歌猛進

图片alt

在數字經濟時代,算力正在成為一種新的生產力,廣泛融合到社會生產生活的各個方面,為千行百業的數字化轉型提供基礎動力。數據中心是算力的物理承載,是數字化發展的關鍵基礎設施。

近年來,國家高度重視數據中心產業的發展,“十四五”規劃和 2035 年遠景目標綱要中明確提出要“加快構建全國一體化大數據中心體系,強化算力統籌智能調度,建設若乾國家樞紐節點和大數據中心集群,建設 E 級和 10E 級超級計算中心”。

當前,我國數據中心產業正由高速發展向高質量發展全面演進。佈局方面,全國一體化大數據中心、新型數據中心等政策文件的出台及“東數西算”工程的實施,為數據中心協同、一體化發展指明瞭方向,推動全國數據中心產業佈局不斷優化。

本期的智能內參,我們推薦中國信通院的報告《數據中心白皮書 2022》,梳理數據中心產業總體及熱點情況,重點分析技術、政策等維度對我國數據中心產業發展。

來源 中國信通院

原標題:

《數據中心白皮書 2022

作者:未註明

一、六大產業維度持續穩定發展

以數字技術為核心驅動的第四次工業革命正在給人類生產生活帶來深刻變革,數據中心作為承載各類數字技術應用的物理底座,其產業賦能價值正在逐步凸顯。國際方面,世界主要國家均在積極引導數據中心產業發展,數據中心市場規模不斷擴大,投資並購活躍,競爭日益激烈。國內方面,“新基建”的發展及“十四五”規劃中數字中國建設目標的提出,為我國數字基礎設施建設提供了重要指導,我國數據中心產業發展步入新階段,數據中心規模穩步提升,低碳高質、協同發展的格局正在逐步形成。

1、規模:全球穩定,我國加速

全球數據中心新增相對穩定。按照全球伺服器年增加量統計,2015 年-2021 年全球年新增投入使用伺服器規模相對穩定,凈增加值也相對穩定,預計未來幾年數據中心規模仍將保持平穩增長。

图片alt

全球伺服器年增加量(兆瓦)

我國數據中心機架規模持續穩步增長,大型以上數據中心規模增長迅速。近年來,我國數據中心機架規模穩步增長,按照標準機架 2.5kW 統計,截止到 2021 年年底,我國在用數據中心機架規模達到 520 萬架,近五年年均復合增速超過 30%。其中,大型以上數據中心機架規模增長更為迅速,按照標準機架 2.5kW 統計,機架規模420 萬架,占比達到 80%。

图片alt

我國數據中心機架規模

2、收入:全球平穩,我國高增速

數據中心市場收入方面,2021 年全球數據中心市場規模超過679 億美元,較 2020 年增長 9.8%。預計 2022 年市場收入將達到746 億美元,增速總體保持平穩。

图片alt

全球數據中心市場規模

受新基建、數字化轉型及數字中國遠景目標等國家政策促進及企業降本增效需求的驅動,我國數據中心業務收入持續高速增長。2021 年,我國數據中心行業市場收入達到 1500 億元左右,近三年年均復合增長率達到 30.69%,隨着我國各地區、各行業數字化轉型的深入推進,我國數據中心市場收入將保持持續增長態勢。

图片alt

我國數據中心市場規模

3、需求:新興市場強勁,我國場景多樣

從全球範圍來看,受全球數字經濟加速發展促進,印度、南非等新興市場逐步加強對數據中心的政策支持和產業投入,成為拉動全球數據中心需求增長的重要增長極。2015 年啟動的“數字印度”計劃為印度的數字化發展提供持續助力,大數據中心建設是該計劃的重要內容之一。

2021 年南非通訊和數字科技部發布了《國家數據和雲政策草案》,該草案對國家高性能計算和數據處理中心的建設作出了指引,高性能計算和數據處理中心主要由現有的 Sentech 和Broadband Infraco 兩個數據中心合並而成,上述數據中心將為各級政府、企業及高校提供雲服務。以政府力量為主導的數據中心建設,將為南非數字經濟發展打下堅實基礎。

在市場方面,印度智能終端設備及數字化消費場景日漸豐富,數據算存需求激增,同時新冠疫情的加劇,使得更多線下業務活動轉向線上,旺盛的數字技術應用及消費需求為印度數據中心產業發展提供了有利的外部環境。跨國企業對印度數字經濟發展保持樂觀態度,並通過數據中心建設強化數字服務能力,2020 年亞馬遜向印度特倫甘納邦投入 28 億美元用於在該邦建立新的服務區,這將是亞馬遜在印度的第二個雲計算區域,亞馬遜對印度數據中心市場投入的持續增加,將使其更好地滿足印度數據本地化政策。

同時,2019年位元組跳動宣佈未來三年對印度市場投資 10 億美元,其中數據中心的投資占比較大。與投資活躍的印度市場相比,跨國公司對南非市場的投入則尚處於起步階段,2019 年微軟率先宣佈啟用位於南非的數據中心,成為全球主要雲服務商中率先入駐非洲的企業之一;2020 年亞馬遜在南非的首個雲數據中心正式啟用,該數據中心為數百萬客戶提供便捷的雲計算服務,隨着南非數字經濟發展進程的不斷加快,預期將會有更多的數據中心及雲服務商進軍南非市場。

從我國範圍看,高新技術、數字化轉型及終端消費等多樣化算力需求場景不斷涌現,算力賦能效應凸顯。在高新技術方面,高度復雜的計算場景需要更多高性能算力支持,而超算可通過高性能算力為醫療、航天及勘探領域提供支撐。當前,E 級超算已經成為世界各國在超算領域開展競賽的重要方向,我國超算在算力、算效等方面仍有較大的提升空間。在產業數字化轉型方面,互聯網、通信及金融等現代服務業需面向大量終端客戶提供服務,企業數字技術應用較為成熟,數字化程度高。

隨着十四五規劃等政策的出台,以及技術研發和業務應用的持續演進,我國傳統工業企業,如國家電網、南方電網、中石油、中石化等也開始積極推動算力基礎設施建設,為企業數字化轉型提供支撐。在移動消費及智能終端方面,近年來我國移動終端用戶及智能終端設備數量快速增長,終端設備應用場景不斷豐富,對實時算力的需求不斷提升。

图片alt

不同場景下的異構算力需求

在算力形態方面,我國數據中心形態多樣化發展趨勢逐漸顯現,智算中心、邊緣數據中心將保持高速增長。長期以來,我國數據中心主要以通用算力為主,超算、智算及邊緣數據中心應用和數量還待增長。隨着我國高性能計算、AI 計算及邊緣計算需求的提升,超算、智算及邊緣數據中心將得到進一步發展,算力呈現多樣化的發展趨勢。

當前,通用算力的數據中心仍是市場主力,按機架規模統計,占比超過 90%;超算中心主要應用於國家重大科研領域,商業應用場景較少;智算中心從早期實驗探索逐步走向商業試點,盡管現有規模占比不高,但隨着我國各類人工智慧應用場景的豐富,智算需求將快速增長,預期規模增速將達到 70%;邊緣數據中心能夠為智能終端、物聯設備提供實時算力,隨着我國數字化轉型的加快,包括工業互聯網的發展,邊緣計算需求將進一步提升,邊緣數據中心的規模增速有望達到 30%。

應用場景的多元化對數據中心功能定位提出了新要求,數據中心已經不僅是承載雲計算、大數據及人工智慧等數字技術應用的物理底座,也正在成為一種提供泛在普惠算力服務的基礎設施,廣泛參與到社會生產生活的各個領域並實現全面賦能。

4、競爭:競技舞臺越來越大

為豐富業務來源,頭部數據中心運營商積極拓展本土外市場,擴張產業版圖 。 中國電信、中國 移 動 、CenturyLink 和 NTT Communications 等為代表的基礎電信運營商,及 Equinix、Digital Reality Trust、萬國數據等為代表的第三方數據中心運營商,依靠建設起步早的先發優勢已在本土持有大規模數據中心資源。

在不斷發展歷程中,基礎電信運營商和第三方數據中心運營商依靠資源、資金及技術研發優勢,通過培育自主品牌、拓寬國際營銷渠道和提供全方位配套的數據中心服務在全球範圍內加速數據中心佈局。如全球領先的數據中心運營商 Equinix 在新加坡、香港、東京、悉尼、雅加達等地均有數據中心佈局;萬國數據 2021 年初步形成東南亞市場佈局,將在馬來西亞、印度尼西亞投建超大規模數據中心園區;中國移動國際有限公司(CMI)在 2021 年投入使用位於德國法蘭克福的數據中心。隨着越來越多的巨頭企業不局限於本土市場,積極擴張數據中心產業版圖,全球數據中心競技舞臺將進一步擴大,“出海”企業需加強技術研發和資源獲取,以保障更大的競爭突圍優勢。

數據中心行業迎來並購潮,大額交易頻現,市場格局或將呈現強者愈強態勢。在全球推行低碳節能戰略背景下,發達城市及周邊區域的資源越來越難獲取,同時由於新建數據中心項目往往需要 1-2 年建設周期,融資便捷、資金充足、組織靈活的數據中心市場主體多採取並購方式“購買”數據中心資源或項目,以此擴大業務規模。以我國情況為例,目前行業內以兩類並購方式為主。

第一類是資源類收購,該類收購對象多為獲批的能耗額度、土地使用權、廠房建築等,目的是填補企業自身在某些區域的數據中心供給不足,以及儲備優質地段的稀缺資源。第二類是直接收購成熟的數據中心項目,該類收購通常是瞄準被收購數據中心的盈利能力,或是跨界新進入數據中心行業的企業意圖加快佈局、減少建設周期、降低轉型難度。

2021 年,Equinix 花費 3.2 億美元收購奈及利亞數據中心和連接服務提供商 MainOne 填補非洲市場空白;寶能創展以 16.5 億元收購鵬博士旗下 5 個數據中心共計 9 個機樓,加速進軍數據中心市場。並購方式下,企業可迅速獲得稀缺資源、提高市場占有率和行業地位,甚至加快進軍原本未涉及的空白市場,基礎資源的擴展將有效促進企業營收增長,在積累資金後繼續加快並購獲取更多資源,以實現強者愈強。

5、低碳環保:技術機制不斷完善

數據中心創新技術加速涌現,管理與金融體系持續完善,為數據中心綠色低碳發展提供了有效助力。在技術創新方面,液冷、蓄冷、高壓直流、餘熱利用、蓄能電站等技術的應用,以及太陽能、風能等可再生能源利用,能夠進一步降低數據中心能耗及碳排放。在管理與金融方面,業界領先的數據中心通過建立綠色數據中心管理制度及內部碳定價制度促進數據中心綠色轉型;綠電證書及綠電交易市場機制的建立和完善,可以有效激發數據中心使用綠色能源,降低碳排放的積極性。

图片alt

技術、管理及金融創新助力數據中心綠色低碳發展

國際互聯網巨頭積極推動綠色能源使用,促進數據中心節能減排。谷歌、蘋果和臉書積極公佈可再生能源使用進展,並分別於2017 年、2018 年及 2020 年實現運營體系 100%可再生能源使用。微軟和亞馬遜計劃於 2025 年實現 100%可再生能源使用目標。為了更好地推進數據中心節能減排,谷歌在 2020 年 9 月提出,到 2030 年在全球範圍內所有數據中心實現以小時為單位的實時可再生能源供電,也即 24/7 零碳運營管理計劃。微軟通過優化數據中心備用電力系統,包括儲能電池及低碳燃料(氫燃料)等形式促進數據中心降碳,2020 年微軟已經成功完成了對氫燃料電池的測試,這將為消除對柴油發電機備用電源的依賴及實現碳減排奠定堅實基礎。

我國頭部互聯網企業及第三方服務商也在積極開展節能減排技術實踐,建設運營數據中心的綠色低碳水平達到全球領先。百度雲計算(陽泉)中心應用市電直供+HVDC、自研“零功耗”臵頂冷卻單元及 AI 調優技術,年均 PUE 達到 1.08;秦淮數據環首都數據中心利用模塊化、綠電交易及資源回收等技術,年均 PUE 達到 1.15,可再生能源利用率達到了 100%;中金數據昆山一號數據中心採用節能技術、清潔能源採購等方式,實現碳中和目標,數據中心碳使用率(CUE)為 0.49。

6、政策:央地協同聯動

新型數據中心是產業發展方向,“四高三協同”內涵不斷豐富。2021 年 7 月,工信部發布《新型數據中心發展三年行動計劃(2021-2023 年)》,明確提出了新型數據中心發展方向及路徑。行動計劃聚焦高技術、高算力、高能效和高安全的四高特徵,以及數雲協同、雲邊協同、數網協同的協同要求,引導我國數據中心高質量發展。同時,行動計劃也在佈局、網路、算力、產業鏈、綠色低碳及安全等方面,對新型數據中心建設作出全面指引。

在佈局方面,形成國家樞紐節點、省數據中心及邊緣數據中心的梯次佈局;在網路方面,聚焦國家、區域、邊緣各級網路關鍵節點,推動網路質量提升,促進數網協同發展;在算力方面,引入算力指標 FLOPS 對數據中心算力進行評價,引導數據中心從粗放的機架規模增長向高質量的算力算效提升方向演進;在產業鏈方面,鼓勵核心技術研發及標準研製,強化產業鏈體系建設;在綠色低碳方面,加快綠色技術產業應用,提升新能源利用水平,優化綠色管理能力建設;在安全方面,提升網路安全保障能力、數據資源管理能力建設,提升新型數據中心的可靠性。

為了更好地落實《新型數據中心發展三年行動計劃(2021-2023年)》對新型數據中心建設及發展要求,2021 年 11 月工信部辦公廳發布關於國家新型數據中心(2021 年)案例推薦工作的通知,明確了國家新型數據中心推薦方向。

該通知對大型數據中心及邊緣數據中心分別提出針對性的要求,大型數據中心重點關註基礎設施、運營管理、數字技術及生態能力方面的內容,並具備支撐行業數字化轉型、賦能千行百業的應用效果;邊緣數據中心重點關註運行效率、算力算效、監控安全、網路能力方面的內容,並具備創新突出、易於推廣的應用特色。根據地方推薦和專家評選,2022 年 3 月工信部發布“國家新型數據中心典型案例名單(2021 年)”,其中大型數據中心 32 個,邊緣數據中心 12 個。

图片alt

▲32個典型大型數據中心

图片alt

▲12個典型邊緣數據中心

一體化大數據中心政策推動數據中心佈局優化,促進全國數據中心協同發展。2020 年 12 月,國家發改委、工信部等四部委發布《關於加快構建全國一體化大數據中心協同創新體系的指導意見》。在數據中心方面,提出形成佈局合理、綠色集約的基礎設施一體化格局。2021 年 5 月,《全國一體化大數據中心協同創新體系算力樞紐實施方案》發布,其標志着全國一體化大數據中心協同創新體系從早期籌劃走向初步啟動,我國數據中心產業佈局從區域內協同進一步過渡到全國一體化發展。

《全國一體化大數據中心協同創新體系算力樞紐實施方案》明確提出要圍繞京津冀、長三角、粵港澳大灣區、成渝、貴州、內蒙古、甘肅及寧夏這 8 個國家樞紐節點開展全國一體化大數據中心建設。八大樞紐節點在市場、資源等方面各有優勢,其中京津冀、長三角、粵港澳大灣區、成渝等節點具備較強的數據中心產業基礎,網路環境較好,用戶規模較大,在後續發展過程中,應重點提升算力服務質量。貴州、內蒙古、甘肅及寧夏等節點資源充沛,氣候適宜,在發展綠色數據中心方面具有較大潛力。後續發展過程中應持續發揮資源優勢,面向全國提供算力保障。

受到一體化大數據中心政策影響,我國地方政府也在加強區域佈局引導,全面促進產業協同。當前,北京、上海、江蘇、山東、雲南、甘肅等省市均出台了數據中心政策,進行產業佈局。

北京市2021 年 4 月發布《北京市數據中心統籌發展實施方案(2021-2023年)》,提出建立優勢互補的京津冀數據中心聚集區,並基於此將北京及周邊地區劃分為數據中心功能保障區、改造升級區、適度發展區、協同發展區,不同功能區域數據中心根據資源及發展目標實行不同的“建改退合”政策。

上海市 2021 年 4 月發布《上海市數據中心建設導則(2021 版)》,在空間上分為數據中心適建區、禁止區和限制區,其中適建區為外環以外區域,既有工業區、發電廠區優先;禁止區為中環以內區域,不得新建數據中心;限制區為適建區和禁止區之外的區域。

山東省 2021 年 10 月發布《關於加快構建山東省一體化大數據中心協同創新體系的實施意見》,提出要逐漸形成“2+5+N”的省級一體化大數據中心空間格局:構建 2 個低時延數據中心核心區,形成 3-5 個左右的省級數據中心集聚區,“十四五”期間,建成 10 個左右的行業大數據中心節點,佈局 30 個以上的超低時延邊緣數據中心。

雲南省 2021 年 12 月發布《雲南省“十四五”大數據中心發展規劃》,提出實現“滇中聚集、滇西突破、全域協同”的總體佈局。

甘肅省 2021 年 12 月發布《甘肅省數據中心建設指引》,提出以“一核兩翼六中心”的架構總體佈局數據中心,形成以蘭州為核心,慶陽、酒泉為兩翼,金昌、張掖、武威、天水、白銀、隴南為六中心的數據中心集聚區。

江蘇省 2021 年12 月發布《江蘇省新型數據中心統籌發展實施意見》,提出要推動打造全省數據中心“雙核三區四基地”發展佈局體系,即 2 個算力資源調度核心、3 個算力支撐區、3 個佈局引導區、4 個省級數據中心產業示範基地。

樞紐節點集群及起步邊界確定,加速“東數西算”工程實施。“東數西算”工程是指通過構建數據中心和網路協同、融合的新型算力網路,將東部算力需求有序引導到西部地區,優化數據中心佈局,促進東西聯動,實現算力的高效調度和使用,全面賦能經濟發展。“東數西算”工程是全國一體化大數據中心建設目標在算力領域的進一步延伸,“東數西算”工程的實施需依托於八大樞紐節點,同時還需結合算力網路相關技術。

隨着我國碳達峰碳中和戰略的深入推進,國家層面出台多項政策促進數據中心綠色低碳發展。

2021 年 10 月,國家發改委、工信部等五部門出台《關於嚴格能效約束推動重點領域節能降碳的若乾意見》,提出“到 2025 年,數據中心電能利用效率普遍不超過 1.5”,進一步明確了數據中心總體能效優化的要求。

2021 年 11 月國家發改委、國務院機關事務管理局等部門發布《深入開展公共機構綠色低碳引領行動促進碳達峰實施方案》,數據中心方面明確提出“新建大型、超大型數據中心全部達到綠色數據中心要求,綠色低碳等級達到 4A 級以上,電能利用效率(PUE)達到 1.3 以下”。

2021 年 12 月國家發改委、國家能源局發布《貫徹落實碳達峰碳中和目標要求推動數據中心和 5G 等新型基礎設施綠色高質量發展實施方案》,在數據中心方面明確提出,到 2025 年,數據中心運行電能利用效率和可再生能源利用率明顯提升,全國新建大型、超大型數據中心平均電能利用效率降到 1.3 以下,國家樞紐節點進一步降到 1.25 以下,綠色低碳等級達到 4A 級以上,旨在有序推動以數據中心為代表的新型基礎設施綠色高質量發展,發揮其“一業帶百業”作用,助力實現碳達峰碳中和目標。

北上廣深等一線城市及周邊地區的土地、水電資源相對緊張,對數據中心能效及碳排要求更為嚴格。當前,上述區域正在持續加強對數據中心產業的政策引導,推動數據中心綠色低碳發展。

北京市 2021 年 4 月發布《北京市數據中心統籌發展實施方案(2021-2023 年)》,指出逐步關閉年均 PUE 高於 2.0 或平均單機架功率低於 2.5 千瓦或平均上架率低於 30%的功能落後的備份存儲類數據中心;對年均 PUE 高於 1.8 或平均單機架功率低於 3 千瓦的數據中心進行改造,改造後的計算型雲數據中心 PUE 不應高於 1.3,改造後的邊緣計算中心 PUE 不應高於 1.6,未按規定完成改造的數據中心要逐步騰退。

上海市 2021 年 4 月發布《上海市數據中心建設導則(2021 版)》,要求新建數據中心綜合 PUE 不高於 1.3,WUE 不高於 1.4。江蘇省 2021 年 12 月發布《江蘇省新型數據中心統籌發展實施意見》,要求“全省新建(擴建)大型及以上數據中心應達到綠色數據中心要求,PUE 低於 1.3,綠色低碳等級達到 4A 級以上。中小型數據中心 PUE 應不高於 1.5”。

二、八大趨勢,數據中心技術不斷變革

1、新能源技術應用更加深入

儲能技術通過“削峰填谷”,成為降低數據中心電力成本的重要方式。數據中心耗能較高,電力成本占運營總成本的 60%-70%。盡管當前不少數據中心通過節能優化提升了數據中心電能利用率,但電力成本占數據中心總體成本依然較大。為了平衡電網用電時段,供電公司通常會提供波峰及波谷電價,數據中心可利用儲能系統在波谷時存儲電力,並在高峰期進行利用,以降低數據中心用電成本。蓄冷、儲能等均是重要的解決方案,蓄冷在夜間電力負荷低谷期制備冷量,並在日間電力負荷高峰期將制備的冷量應用於空調系統;儲能通過儲能設備實現電力存儲,鋰電由於其高能量密度、高輸出電壓等特點成為下一代數據中心後備儲能方案之一。

新能源與儲能技術融合加深,有效轉變數據中心能源結構,提升綠色低碳水平。隨着數據中心能耗政策的收緊及碳中和目標的確立,新能源供電逐漸成為實現數據中心零碳排放的重要方式,風、光、水、氫等清潔能源的使用占比將不斷提升,數據中心可直接採用新能源發電實現能源供給或通過碳排放權交易間接促進新能源的使用。盡管新能源發電具有清潔環保優勢,但是新能源供給容易受到自然條件影響,進而導致其連續性難以保障。新能源與儲能技術融合能夠有效提升新能源供電的穩定性,解決可再生能源系統應用過程中的供電不平衡、穩定性差等問題。

國內外已有部分數據中心開始嘗試新能源+儲能的規模化供電方案,為數據中心新能源和儲能技術的應用與推廣提供了重要參考。2020 年 8 月,美國能源開發商 Capital Dynamics 與數據中心運營商Switch 簽署了一份太陽能和儲能項目電力採購協議。基於此協議,Switch 將獲得全天候綠色電力支撐,該項目包含一個 127MW 的太陽能發電場,以及一個 240MWh 的電池儲能系統。

在國內,2021 年7 月,世紀互聯新一代荷儲數據中心項目在佛山智慧城市數據中心合閘,其是實現規模化儲能技術應用的數據中心項目,項目以數據中心為主要負荷對象,配備 2MWh 儲能容量,輸出功率 1MW,整個儲能系統由儲能集裝箱、PCS 倉、環網櫃組成,並與光伏發電系統在交流側耦合,在數據中心 10kV 高壓側實現最終並網,使數據中心形成一個負荷可變、可調的復合體,並能根據電網需求、新能源發電需求,調整充放電策略。

2、運維智能化程度不斷提升

應用智能運維,有效提高數據中心運維的流程化和標準化,提升運維管理效率。隨着數據中心規模的不斷提升以及數據中心承載業務及數據量的不斷增長,數據中心運維方式也在快速演進,智能運維工具的應用使數據中心運維管理變得更加高效。在手工運維時期,數據中心運維管理人員缺乏有效的運維工具,運維管理活動更加依賴於運維管理人員的個人知識及技術水平。隨着數據中心規模的快速增長,數據中心運維服務範圍和難度明顯提升,單純依靠個人經驗難以保障運維服務質量。

在上述情況下,流程化和標準化的運維開始出現。流程化和標準化運維旨在通過明確流程及標準文檔等形式促進運維管理活動更加規範,降低對運維人員個人知識技能的依賴性。自動化平臺運維是流程化和標準化運維的進一步發展,自動化運維工具通過平臺化建設將大量重復的運維活動轉變為自動化操作,提高了運維效率,使運維過程可視化程度提升。智能運維以數據為基礎、以演算法為支撐、以場景為導向,為數據中心運維管理提供了智能化解決方案,實現了問題的實時分析和處理,降低了報警噪音,並能夠對故障及問題原因進行分析和預測。

图片alt

數據中心運維發展歷程

2021 年 7 月,工信部《新型數據中心發展三年行動計劃(2021-2023 年)》明確提出“聚焦新型數據中心供配電、製冷、IT 和網路設備、智能化系統等關鍵環節,鍛強補弱”。政策引導數據中心運維管理向智能化發展,產業界關於智能運維的關註也越來越高。

我國互聯網企業、第三方服務商積極開展智能化運營相關實踐。萬國數據北京四號數據中心通過在基礎設施建設方面大量應用融入專業經驗的自動化裝臵代替人工操作,提高故障報警及響應速度,並結合自行開發的運營管理平臺及應用軟體,以實現從本地到區域,再到全國的高效高質量運維;騰訊懷來瑞北雲數據中心基於騰訊自研的數據中心自動化管理平臺——騰訊智維,構建了鏈接園區、區域、總部的三級閉環管理體系,並通過重構告警鏈路實現了秒級敏態感知,應用圖計算、物模型等技術實現了告警極速收斂,故障自動定位的準確率高達 99.9%。

網路智能運維是數據中心智能運維最重要的應用場景之一,網路智能運維技術可持續推動網路可視、可管、可控能力的提升。隨着數據中心規模的不斷擴展,數據中心網路復雜度也在不斷提升。與此同時,用戶對數據中心網路的質量、可靠性及安全性提出了更高的要求。傳統數據中心網路在運維過程中存在信號乾擾、應用保障等問題,人工運維效率較差,在應對突發網路故障時難以作出及時的網路故障處理和運營維護。

當前,業界提出了以“自動駕駛網路”等為代表的網路智能運維及優化技術,其通過融合 AI 技術實現對數據中心網路的管控、自動運維及優化,對各類網路故障進行恢復自愈,對阻塞進行管理,同時支持網路自動調優和自我演進,為用戶提供更加優質的網路服務。

2021 開放數據中心峰會上,中國信通院、華為、中國移動研究院等單位共同發布了《超融合數據中心網路無損以太場景等級測評規範》,該測評規範針對分散式存儲、集中式存儲及高性能計算等場景,從功能、性能、可靠性、兼容性及運維等維度進行了評價,並根據評價結果將無損網路分為五個等級,分別為無損能力尚不成熟、具備基本無損能力、無損能力成熟、無損能力良好、無損能力卓越,運維是其重要的等級評定維度。

同時,華為在《華為數據中心自動駕駛網路白皮書》中將自動駕駛網路定義為五個等級,指出全自治網路是數據中心網路發展的終極目標,在全自治網路下,網路系統自身將形成面向任意場景,具備執行、監視、分析和決策能力,完全實現閉環管理的自動化能力,真正實現“無人駕駛”。

3、預制模塊化技術深度融合,項目建設周期縮短

預制模塊化建築技術與模塊化數據中心深度融合,新一代預制模塊化數據中心可靠性及使用體驗大幅提升。信息技術的快速迭代及用戶對數據中心交付工期要求的縮短,使得傳統數據中心建設模式越來越難以滿足現實需求,數據中心預制化成為實現數據中心快速建設關鍵技術之一。數據中心預制化技術已有多年發展歷史,早期預制化數據中心採用 All-in-One 形式設計,單箱體集成數據中心各子系統,可滿足小規模數據中心快速部署及應急建設要求。

在 All-in-One 基礎上,業界逐漸實現了設備區和配電區等核心區域的模塊化,出現了傳統的預制模塊化數據中心。受到可靠性、空間及標準化程度等因素制約,傳統預制模塊化數據中心仍為小規模及特定場景應用為主。隨着預制模塊化理念的成熟及模塊化數據中心的發展,預制模塊化建築技術與模塊化數據中心融合程度加深,新一代預制模塊化數據中心開始出現。

4、液冷技術商用條件漸成熟,實踐案例不斷增多

液冷技術快速演進,系統可靠性逐步提升。液冷技術利用液體作為換熱媒介在靠近熱源處進行換熱製冷,不需要像風冷一樣通過空氣間接製冷,由於液體具有相對較高的比熱容,其製冷效果和能效遠高於風冷製冷,在高密度、大規模及散熱需求較高的數據中心中優勢明顯。

按液冷室內末端與伺服器等發熱源接觸方式不同可將液冷分為間接液冷技術和直接液冷技術,間接液冷中熱源與冷卻液沒有直接接觸換熱,直接液冷技術中冷卻液則與發熱電子元件直接接觸換熱製冷。間接液冷以冷板式為主,其中單相冷板式液冷解決方案較為常見。直接液冷主要是浸沒式,散熱效率高,噪音低。

當前我國液冷技術正在快速發展並已經擁有規模化的商用案例,這與我國數據中心規模不斷擴大,單機櫃功率密度不斷提升有關。阿裡巴巴、百度、騰訊、華為、中科曙光等 IT 企業已有成熟的液冷技術應用案例,阿裡巴巴仁和雲計算數據中心伺服器採用全浸沒式液冷伺服器,該數據中心也成為我國首座綠色等級達到 5A 級的液冷數據中心。

與液冷技術應用實踐同步,近年來,產業界對於液冷技術的研究也在逐步深化。2019 年,中國信通院雲計算與大數據研究所(以下簡稱“中國信通院雲大所”)聯合業界先後出版《冷板式液冷》、《液冷革命》兩部書籍,對液冷技術發展內外因及不同液冷技術方案進行對比剖析;

2020 年,ODCC 與阿裡巴巴舉辦浸沒式液冷數據中心開源發布會,阿裡巴巴正式開源《浸沒式液冷數據中心技術規範》; 2021 年初, ODCC 聯合 UDP(聯合國環境規劃署-丹麥科技大學合作夥伴)哥本哈根能源效率中心、ITU(國際電信聯盟)在全球聯合發布題為《Innovative Data-Centre Cooling Technologies inChina-Liquid Cooling Solution》的液冷研究報告,對我國液冷技術應用進展進行總結;

2021 年,ODCC 發布《浸沒式液冷伺服器可靠性白皮書》,研究內容為液冷伺服器長期運行後的可靠性評估方法;2022 年 4 月,中國信通院雲大所牽頭編制的 5 項液冷系列行業標準正式實施,為數據中心液冷產業發展提供了有效指導。

隨着邊緣算力需求的不斷提升,液冷技術應用場景將從雲端擴展到邊緣。終端算力需求的提升使得傳統雲算力逐漸下沉到邊緣,邊緣計算伺服器功率密度及散熱需求也在同步提升。為了降低數據中心製冷能耗,提升數據中心整體能效,部分邊緣數據中心也開始引入液冷邊緣伺服器,通過液冷技術應用提升邊緣數據中心的能效水平。

5、高密伺服器研發部署加快,單位面積算力提升

數據規模的持續增長及土地、電力資源集約化發展推動高密度數據中心發展。在過去很長一段時間,為了滿足不斷增長的用戶數據處理需求,數據中心主要是通過增加空間,擴大機架和伺服器規模來提供更多算力,但是這也會導致數據中心運營成本的增加和數據中心場地空間的浪費。經濟發達地區日益緊張的土地資源使得以擴大伺服器規模來提升算力規模的數據中心建設模式難以開展,建設高密度數據中心成為提升數據中心算力水平的重要舉措,高密度數據中心能夠進一步增加數據中心“每平方米”的計算能力,能夠更好地滿足大數據場景下的計算與存儲需求。

高密度伺服器部署顯著提升數據中心單位面積算力,降低數據中心運營成本。建設高密度數據中心的關鍵是部署高密度伺服器,與傳統伺服器不同,高密度伺服器電源和風扇多以共享方式進行設計,位於同一機箱內的多台伺服器節點可以共享電源和風扇。

上述方式,一方面降低了機體的重量和空間占用,提升數據中心單位面積算力,另一方面能夠提升電源和散熱系統的使用效率,降低數據中心運營成本。隨着數據中心功率密度的提升,數據中心平均機架功率也在不斷提升,有研究機構發布數據3顯示當前全球 5-9kW/rack 的機架占比最多,功率超過 10kW/rack 的機架占比達到近30%,單機架功率的提升與高密度伺服器規模部署和應用密切相關。當前,Intel、IBM、華為、浪潮、曙光等廠商紛紛加速推進高密度伺服器的產品設計與市場佈局。

图片alt

2020 年全球數據中心平均單機架功率情況

6、備份一體機市場快速增長,容災備份能力增強

數據重要性不斷凸顯,容災備份需求驅動備份一體機市場高速增長。數據是數據中心中存放的企業最重要的資產,在我國企業數字化轉型進程加快的背景下,數據中心及企業機房容災備份能力逐漸受到業界關註。傳統數據保護方式大多只能針對物理設備的數據進行保護,難以對雲計算等環境提供統一的數據保護備份服務,隨着數據中心分散式計算應用場景的增長,傳統數據保護備份方式越來越難以滿足需求,高效、全面、融合、統一靈活的數據備份和恢復方案成為下一代數據中心數據保護方案的方向。

備份一體機是面向下一代數據中心數據保護場景的重要方案,備份一體機可利用軟體、磁碟陣列、伺服器引擎或節點備份數據,與備份軟體緊密集合,形成目錄、索引、計劃,從而實現數據的傳送。

當前,全球備份一體機市場保持高速增長態勢,市場需求旺盛。為迎合產業發展,2021 年 9 月,ODCC 發布《備份一體機技術規範》,對備份一體機架構、功能、非功能及介面要求進行了全面規範,有效的推動了備份一體機的生產、測試和選型。

图片alt

含備份一體機的備份系統整體架構

7、新存儲訪問協議不斷演進,網路存儲深度融合

NVMe-oF 協議成為全快閃記憶體端到端重要解決方案,存儲與網路融合進一步加深。NVMe over Fabrics(以下簡稱 NVMe-oF)成為降低存儲網路協議棧處理開銷並實現高並發、低時延的重要技術,其解決了存儲由於通信協議而造成性能損失的問題,進一步釋放 SSD 的性能,加速了快閃記憶體的發展。NVMe-oF 使得主機和存儲設備可以通過網路使用 NVMe 協議,有效地提高了主機通過遠程網路訪問存儲的性能,引起了業界廣泛關註。當前,包括 FC 網路、IB 網路、無損網路、標準乙太網等均支持 NVMe-oF。其中,無損網路作為業界關註的焦點之一,近年來取得了長足發展。其在性能上大幅優於標準乙太網,在建設成本方面低於 FC 網路和 IB 網路。因此,在 NVMe與網路融合發展的過程中,無損網路或將成為重要的發展方向。

8、泛在算力互聯需求將增多,算力網路創新加速

算力網路連接泛在算力基礎設施,運營商積極開展落地實踐。金融、交通、教育、工業等行業對泛在算力場景的需求不斷增長,用戶需要隨時隨地可接入的更優惠、更高質的算力服務,基於算力泛在使用和交易需求衍生的算力網路成為下一代算力基礎設施發展的重點。近年來,運營商加速推動算力網路落地實踐。算網一體是中國聯通 CUBE-Net3.0 重點方向之一,中國聯通在全國多地開展算力網路建設試點,通過算力網路業務鏈、網路切片、資源感知實現算力資源調度和感知,形成雲網安一體服務。

中國電信在算力網路建設過程中重點強調“雲”為核心,側重網路、算力和存儲三大資源相互融合,推進天翼雲持續升級,實現天翼雲節點和天翼邊緣節點統一管理調度,雲網融合、雲邊協同是電信雲的優勢。中國移動重點改造底層算力基礎設施,基於 X86 和 ARM 架構打造通用算力網路,同時基於 GPU、ASIC 不斷豐富智能算力。

图片alt

數據中心算力網路發展趨勢

算力網路技術創新主要集中在架構、調度技術及度量方式三個方面。在算力架構方面,傳統計算與網路分離模式逐漸向計算與網路融合方向演進,算力基礎設施融合架構創新發展。在算力調度技術方面,算力調度由之前僅支持對網路的調度發展到算力與網路匹配的調度模式,算力調度技術創新不斷涌現。

算力調度技術創新主要包括算力跨區域調度、多層次調度、算力資源統一編排、網路協議、可視監測及智能運維等。在算力度量方式方面,算力與網路度量內涵不斷延伸,算力度量方式由單一節點度量轉變為一體化協同度量。隨着算力網路的形成,用戶算力獲取來源變得更加多樣,在這種情況下,用戶可獲取的算力就不能以單一或局部節點來衡量,而是以算力網路平臺當前可供給的且滿足用戶業務需求的算力來衡量,這種新的一體化協同度量機制將對用戶可用算力進行重新核定。

三、五大發展趨勢,我國數據中心大有可為

當前,我國正處於各行業數字化轉型的加速期,以數據中心為代表的數字基礎設施應用場景仍將進一步擴大,數據中心產業將迎來更大機遇,發展前景將更為廣闊。

1、佈局逐步優化,協同一體趨勢增強

受市場內生算力需求驅動,及國家相關政策引導,我國數據中心總體佈局持續優化,協同一體趨勢將進一步增強。在市場層面,中西部地區自然環境優越,土地、電力等資源充足,但本地數據中心市場需求相對較低;東部地區市場需求旺盛,但土地、電力、人員等生產要素成本較高,東西部協同發展逐漸成為趨勢。

而隨着網路質量的優化,中西部將不再僅是進行冷存儲的災備數據中心聚集區,也將承載更多的應用。在政策層面,我國數據中心全國一體化發展引導增強。同時,內蒙、貴州等地推出了電力、土地、稅收等優惠政策,有效幫助數據中心降低建設運營成本,數據中心建設規模不斷增長。未來,“東數西算”工程將進入到全面建設期,我國數據中心佈局或將得到進一步優化。

除地域佈局上的東西部協同外,為應對不斷涌現的應用場景需求,不同類型數據中心也協同發展。我國數據中心產業正在由通用數據中心占主導,演變為多類型數據中心共同發展的新局面,數據中心間協同,以及雲邊協同的體系將不斷完善。以應用為驅動,多種類型的數據中心協同一體,共同提供算力服務的模式,將成為我國數據中心算力供給重要形態,持續支撐我國數字經濟發展。

2、創新驅動持續,技術水平不斷提升

作為算力服務中樞,數據中心既是數字經濟底座,也是數字技術創新的高地。隨着新一代信息技術的不斷發展,數據中心正逐漸突破傳統機房運營模式的桎梏,產業發展逐漸由資本驅動邁向創新驅動,技術創新將持續活躍。

從基礎設施角度看,數據中心是由“風火水電”構成的建築,早期數據中心建設主要參考建築、電力、製冷、通信等行業的基建經驗,並未專門針對數據中心環境進行創新優化。隨着數據中心節能降碳、降本增效、智能運營等要求的不斷提升,液冷、蓄冷、儲能、高壓直流、智能運維等新技術開始應用於數據中心的建設運營中,以技術促進數據中心基礎設施變革的趨勢不斷增強。

從 IT 設備角度看,雲計算技術的應用使得數據中心虛擬化程度不斷提高,數據中心與雲平臺、網路、安全及運營之間的技術聯接日益緊密,智能晶元、定製化伺服器、分散式存儲、SDN、智能運維等 IT 技術的應用,有效地提升了數據中心服務能力。

可以預見,在未來發展過程中,基礎設施及 IT 技術的創新將不斷涌現,數據中心技術內涵也將變得更加豐富。我國數據中心產業將逐步增強對新技術的應用,利用新技術加速實現節能減排,提升算力服務水平,進一步賦能產業發展。

3、算網協同加快,泛在算力高質發展

算網協同是實現算力服務泛在可達、靈活取用的重要途徑,同時也是算力基礎設施和網路設施融合創新發展的重要形態。當前,我國算網協同發展尚處於起步階段,算網協同技術、運營機制及監管體制仍不完善,但算網協同是下一階段我國算網設施發展的重要方向。在“東數西算”工程的背景下,以算網協同為基礎,通過算力調度構建全國一體化算力網路,成為推動全國算力資源優化配臵的關鍵。未來,以“東數西算”為牽引的全國一體化算力網路將逐步建成,並實現泛在算力的靈活高效調度。

以算網協同目標為驅動,多方主體共同參與,加速算網協同體系的建成。中國信通院雲大所數據中心團隊搭建了我國首個“算力大平臺”,該平臺已經上線多年,具備數據中心等算力基礎設施的多維度信息採集、監測和供需對接等能力,平臺的建設和完善有望為“東數西算”工程的實施及全國算力調度提供有效支撐。

4、賦能效應深化,數字轉型支撐顯著

近年來,數字化轉型的範圍不斷擴大、程度不斷加深,數據中心產業賦能效應逐步深化。未來,數據中心對產業的賦能主要體現在以下方面:一是多樣泛在的算力供給將逐步完善,傳統企業“上雲用數賦智”進程將進一步加快。電力、石油、石化、製造等工業領域可通過能源互聯網平臺、工業互聯網平臺的建設,加速實現雲邊端協同,提高企業生產運營效率;二是隨着數字化轉型的深入,數據中心將與網路深度融合,形成算網一體服務,更好地為企業發展提供 IT 基礎設施支撐;三是分散式計算、存儲及雲邊端協同的技術不斷成熟,可實現對泛在終端海量數據的快速處理,從而支撐工業互聯網和物聯網的發展;四是計算、存儲及網路等服務模式將逐步變革,算力可更為深入地融入到企業數字化轉型的各個方面,全面賦能企業生產、運營及管理等環節。

5、低碳要求趨嚴,助力雙碳目標實現

雙碳目標及可持續發展戰略將長期驅動我國數據中心產業綠色低碳發展。在政策方面,我國數據中心政策對能效的要求不斷趨嚴,能效考核指標從以 PUE 為主逐步演變為 PUE、CUE、WUE、綠色低碳等級等多指標兼顧,未來有可能會納入更多新的能效指標,日趨嚴格的能耗政策將進一步推動產業全面綠色低碳發展。未來,數據中心將成為支撐各產業數字化發展的引擎,綠色算力應用將全面賦能各行業的數字化轉型,全面助力精益生產和綠色發展。在產業實踐方面,數據中心製冷方案供應商將進一步加強新型製冷方案的研究,氟泵、液冷、間接蒸發、自然冷源等製冷技術將變得更加成熟,製冷效率將不斷提升。同時,光伏、風電、儲能、鋰電池等綠色電力和供配電節能技術研發與應用也將不斷深入。數據中心綠色低碳技術研發和應用都將進一步發展。

智東西認為,算力作為數字經濟的核心生產力,是全球戰略競爭的新焦點。未來,我國數據中心市場仍將保持高速增長,產業佈局及生態也將不斷優化,可為用戶提供泛在、智能、可靠的算力資源。