國內(nèi)云計(jì)算和數(shù)據(jù)中心領(lǐng)域最具規(guī)模和影響力的標(biāo)志性盛會(huì),第十二屆中國IDC產(chǎn)業(yè)年度大典將于12.21-22日在國家會(huì)議中心舉行。在昨天的主會(huì)場上,多位領(lǐng)導(dǎo)及嘉賓對目前數(shù)據(jù)中心整體市場進(jìn)行了分析與點(diǎn)評(píng),在今日的數(shù)據(jù)中心技術(shù)創(chuàng)新分論壇上,多位嘉賓將會(huì)對數(shù)據(jù)中心的技術(shù)創(chuàng)新進(jìn)行分析與解讀,讓我們共同迎接今天的數(shù)據(jù)中心技術(shù)創(chuàng)新分論壇。
中國IDC產(chǎn)業(yè)年度大典作為國內(nèi)云計(jì)算和數(shù)據(jù)中心領(lǐng)域規(guī)模最大、最具影響力的標(biāo)志性盛會(huì),阿里巴巴IDC運(yùn)營專家郭樹師出席此次會(huì)議,并發(fā)表《阿里巴巴數(shù)據(jù)中心節(jié)能實(shí)踐》主題演講。
阿里巴巴IDC運(yùn)營專家郭樹師
以下為演講實(shí)錄:
我今天的題目稍微變了一下,原來給我的題目是關(guān)于節(jié)能方面,現(xiàn)在的題目叫《阿里巴巴數(shù)據(jù)中心節(jié)能實(shí)踐》,這個(gè)PPT是以張北作為案例來展開,剛才郭亮講的很有感觸,當(dāng)他在研究液冷的時(shí)候,其實(shí)我們也在深入地去做了,而且對于未來的方向,感覺液冷會(huì)成為未來的主流方式。在張北,現(xiàn)在我們已經(jīng)進(jìn)行好幾月的實(shí)驗(yàn),包括整個(gè)包間大規(guī)模的應(yīng)用,隨著國家能源的消耗越來越多,隨著數(shù)據(jù)中心那么多的建設(shè),對于液冷的需求,對于制冷的欲求,未來這種發(fā)展雅趣是不可持續(xù)的,逼著我們?nèi)シ治鱿乱粋€(gè)更好的應(yīng)用。比如說液冷。
液冷有三種方式,一個(gè)是浸泡式、冷板式、噴淋式。
說之前還有一些敢想,隨著數(shù)據(jù)中心大量的能源使用,目前在北京找到一個(gè)能夠滿足中型電力的數(shù)據(jù)中心不好找,我們數(shù)據(jù)中心耗電量非常大,社會(huì)和企業(yè)、團(tuán)隊(duì)的架構(gòu)我就不細(xì)說,下面說一些運(yùn)營的實(shí)踐。
第一點(diǎn),新風(fēng)應(yīng)用。新風(fēng)在這個(gè)行業(yè)提過好多年,據(jù)說大家真正應(yīng)用,在天津、北京、張北,好多數(shù)據(jù)中心都在嘗試用新風(fēng),到底新風(fēng)行不行?在張北進(jìn)入一年多,我們用了三個(gè)包間進(jìn)行了實(shí)驗(yàn),新風(fēng)在特定的清潔度、濕度、溫度的情況下部分地區(qū)是可用的,這個(gè)新風(fēng)能夠極大地降低我們的PUE,它的風(fēng)險(xiǎn)控制點(diǎn)主要來自于硫化氫和二氧化硫,因?yàn)樗鼤?huì)和我們的銀、銅產(chǎn)生硫酸銅和硫酸銀。我們這里要控制住這些,新風(fēng)是可以使用的,我們目前在積累大量的數(shù)據(jù),運(yùn)行一年多,看到效果不錯(cuò)。
假如不是張北,而是放在天津、青島、上海未必就可用。
新風(fēng)有三種模式,有全新風(fēng)、半新風(fēng)。有新風(fēng)、回風(fēng)、混合風(fēng),這是一個(gè)氣流模型,這是對實(shí)驗(yàn)室的照片,以及檢測,我們更擔(dān)心的是服務(wù)器的壽命、故障率,通過控制腐蝕程度,我們看看新風(fēng)到底能不能廣泛地普及,在哪些地方可以普及,通過實(shí)驗(yàn),通過小規(guī)模的試用,我們其實(shí)在張北進(jìn)行了有益的實(shí)驗(yàn)和探索,這是新風(fēng)問題。
第二點(diǎn)熱通道密封。傳統(tǒng)的機(jī)房很多還在冷通道封閉,冷通道封閉需要架空地板,而熱通道封閉可以有更高的換熱效率而且省去了架空地板,它是彌漫式的冷通道的送風(fēng),我對熱通道進(jìn)行熱量集中回收,我把溫度盡量提高,然后進(jìn)行一個(gè)高溫的回風(fēng)的高效率的環(huán)境,這是熱通道封閉,今天通過這個(gè)PPT,也是希望我們在座的,或者來自未來數(shù)據(jù)中心的從業(yè)工作者一起來探索更多的節(jié)能,或者說降低電力消耗的方式,或者是技術(shù)。
第三點(diǎn),冷熱水的供回水溫度。我們目前看到很多機(jī)房,設(shè)計(jì)的很傳統(tǒng)的供水,還有很多在7度供水,12度回水,還有繼續(xù)往上提,到底要提到什么程度,目前我們張北出水溫度17度,回水是25度,也就是有6度的溫差,出水溫度從7度升高到17度,乃至19度,回水也相應(yīng)的提高,這個(gè)提高還是挺明顯的。
第四點(diǎn),變頻技術(shù)。這個(gè)變頻已經(jīng)很成熟了,但是并不是所有的數(shù)據(jù)中心都廣泛地使用了變頻技術(shù),各種電基、冷基在固定頻率的時(shí)候是固定的消耗,根據(jù)需量,按需所供,按照所需變頻,這在我們一次泵、二次泵、冷基、冷塔進(jìn)行了廣泛的應(yīng)用,希望這個(gè)變頻技術(shù)能夠有更多的數(shù)據(jù)中心借鑒,它的技術(shù)要點(diǎn)就是低頻自適應(yīng)變頻技術(shù),還有電基低頻值優(yōu)化。我們現(xiàn)在普遍的應(yīng)用到28到32HZ左右,頻率和轉(zhuǎn)速成正比,功耗是程三次方的關(guān)系,變頻的節(jié)能效果還是很明顯的。
第五點(diǎn),冷卻塔水流路徑延伸技術(shù)。有很多做冷塔的,冷塔造出來以后,在不同的地區(qū),比如在南方、北方是有不同的需求,而且普通的冷塔到了張北以后還要進(jìn)行改造,張北要進(jìn)行防凍,另外原來的牌偏小偏淺,到張北以后我們重新進(jìn)行優(yōu)化改進(jìn),就是把水流路徑延伸,增大散熱面積和散熱時(shí)間。冷塔的設(shè)計(jì)并不是一個(gè)標(biāo)準(zhǔn),還是要根據(jù)所處的地區(qū)進(jìn)行優(yōu)化,不光是路徑延伸,包括你的兩個(gè)電基或者三個(gè)電基的獨(dú)立控制,是兩個(gè)電基同時(shí)在,還是只運(yùn)行一個(gè)風(fēng)扇,這個(gè)冷塔還有很多未來發(fā)展的提升空間。
第六點(diǎn),液冷技術(shù)。剛才郭博士講的跟我們用很相近,這已經(jīng)真正地在,而且效果還很好,為什么要這么做?把我們傳統(tǒng)的機(jī)柜三千瓦、四千瓦、五千瓦,到六千瓦的時(shí)候,發(fā)現(xiàn)這些不夠用了,我需要二十千瓦、三十千瓦、五十千瓦的時(shí)候,普通的制冷模式是滿足不了消除熱導(dǎo)的局部過熱。液冷有浸泡式的,還有噴淋式的,我呼吁我們的合作伙伴或者友商,繼續(xù)加大這方面的投入,這是未來的趨勢,大工業(yè)的機(jī)會(huì)是未來的趨勢。
第七點(diǎn),這是空調(diào)最優(yōu)控制邏輯的選擇。首先溫差,當(dāng)冷熱通道封閉和分離的目的是什么?還是加大溫差,而溫差叫什么?末端空調(diào)的送風(fēng)速度,當(dāng)溫差調(diào)高以后,我們的空調(diào)末端的轉(zhuǎn)速可以降低下來,普通空調(diào)有四種模式,哪種是最優(yōu)的,比如說出風(fēng)控制、回風(fēng)控制、壓差控制、溫差控制。這四種模式當(dāng)你選擇的時(shí)候,它的節(jié)能效果是不一樣的,目前一個(gè)很好的實(shí)踐就是加大冷熱通道的溫差。出風(fēng)的溫度可以設(shè)定,比如說可以通過機(jī)器來進(jìn)行設(shè)定,還有通過溫差的設(shè)定。
第八點(diǎn),服務(wù)器的進(jìn)風(fēng)溫度。還是回到傳統(tǒng)機(jī)房,能不能繼續(xù)往上提,24正負(fù)2可不可以,25正負(fù)2可不可以,目前這些企業(yè)有沒有進(jìn)行嘗試。我們現(xiàn)在已經(jīng)做到了25正負(fù)2,就是把整個(gè)機(jī)房的溫度進(jìn)行普遍的調(diào)解,而服務(wù)器廠家可能也有這個(gè),它的耐受溫度合理是34-35度,是可以滿足的,當(dāng)25正負(fù)2或者26正負(fù)2的時(shí)候,通過數(shù)據(jù)的積累,我們有進(jìn)一步提升的空間。
當(dāng)然提高了進(jìn)風(fēng)的溫度,相應(yīng)的CPU轉(zhuǎn)速的速度也會(huì)提升,這時(shí)候要找到他們之間的缺陷,不能一味的提升,比如到了正負(fù)25要停一下,你要測一下三條曲線的交界點(diǎn),找到最優(yōu)的集合。
第九點(diǎn),冷卻塔無滲漏保養(yǎng)。怎么除冰,怎么減少受漂水,也需要冷塔和電力系統(tǒng)進(jìn)行配合,現(xiàn)在的方式還是靠人工,或者是一個(gè)半自動(dòng)的方式,通過電力系統(tǒng)的調(diào)解,或者是通過一個(gè)送風(fēng)口的開口,或者加漏斗,像張北的冷塔進(jìn)行了大量的改造,這種小技巧還是有一些借鑒意義。
第十點(diǎn),冷卻水凈化再利用。大家考慮電力的同時(shí),還要想一想,其實(shí)數(shù)據(jù)中心跑水量也是比較大的,我們有一個(gè)詞叫WUE,它的值做得不好的達(dá)到4.0以上,做得好的達(dá)到0.4左右,這個(gè)差別挺大,冷卻水的導(dǎo)電率到多少PH值進(jìn)行排放,這需要維護(hù)的人進(jìn)行大量的數(shù)據(jù)探索,比如說1500、1600、1700.既要保證水的可用又要減少排放。一個(gè)是導(dǎo)電率,一個(gè)是PH值,這是我們目前的關(guān)鍵指標(biāo)。
第十一點(diǎn),室內(nèi)外濕度為跟隨控制技術(shù),我知道目前有些機(jī)房還是40%-70%的濕度,這個(gè)值還有優(yōu)化的空間,比如30-75可不可以,30-80可不可以,20-80可不可以,從配電室到IT機(jī)房它的的濕度要求不一樣,通過加濕器能不能用自然方式來解決,目前這個(gè)值已經(jīng)進(jìn)行了大范圍的優(yōu)化,這個(gè)濕度有很多的加濕器,這也是一個(gè)不小的耗能。目前的濕度值可以從40%-70%,將提高到25%-80%,配電室可以做到18%-90%,通過這個(gè)數(shù)據(jù)的優(yōu)化,可以在加濕方面對數(shù)據(jù)中心這個(gè)行業(yè),乃至普通的機(jī)房進(jìn)行推薦,或者是參考。我們有兩個(gè)指標(biāo),溫度和濕度,把這兩個(gè)優(yōu)化好,對PUE的降低還是很有效果的。
第十二點(diǎn),BA全自動(dòng)控制系統(tǒng)。目前國內(nèi)用BA的還是挺多,BA有幾種方式,它有全自動(dòng)、手動(dòng)、半自動(dòng),目前我們新建的機(jī)房,大部分做到全自動(dòng)、自動(dòng)加機(jī)、自動(dòng)減機(jī)、自動(dòng)進(jìn)行多種模式的切換。這里面涉及到比如說冷機(jī)的控制模式和新風(fēng)的控制模式,比如說3+3,就是冷機(jī)有三種模式,新風(fēng)有三種模式,張北是六種模式進(jìn)行切換,張北的PUE,上次在CDC大會(huì)上有一個(gè)值,它獲得了CDC的科技能效杰出獎(jiǎng),平時(shí)運(yùn)行PUE值都在1.1幾,這是實(shí)際運(yùn)行的,而不是實(shí)驗(yàn)數(shù)據(jù)。還是希望更多的廠商參與進(jìn)來,目前廠商還是偏少,而且希望它更人性化,更自動(dòng)化一些。
第十三點(diǎn),新風(fēng)焓差節(jié)能空調(diào)技術(shù),這個(gè)技術(shù)南方用得比較多。
下面說一下電氣方面的實(shí)踐。
第一,互聯(lián)網(wǎng)行業(yè)一路市電+一路高壓直流,已經(jīng)不是新技術(shù)的,原來擔(dān)心的高壓直流現(xiàn)在也沒那么擔(dān)心了,但是相對于傳統(tǒng)的2N的UPE,1路市電,1路高壓直流,它的效果很明顯。但是現(xiàn)在還有很多數(shù)據(jù)中心還在用2N的UPS,即便我們阿里采用了1路市電加1路高壓直流,它這里面還有兩種技術(shù),就說1路是負(fù)載均分技術(shù),就是一人一半,各50%,還有一半是負(fù)載不對稱技術(shù),我市電這側(cè)能不能承擔(dān)90%,乃至95%,讓高壓直流這側(cè)承擔(dān)更少的,就是這樣才能夠減少高壓直流的轉(zhuǎn)換效率的損耗。高壓直流目前在互聯(lián)網(wǎng)應(yīng)用中心應(yīng)用比較多,價(jià)格也比較便宜,比如說目前常用的這幾個(gè)有東達(dá)(音)、東塔(音)、新星(音),我們希望這些廠商有更多的節(jié)能技術(shù)出來,不要說高壓直流就一定節(jié)能,高壓直流也有用的低效、中效、高效的,我們更加希望它能夠研發(fā)出來根高效的直流模塊來。如果提高1%,對數(shù)據(jù)中心全部的節(jié)能效果量級(jí)還是非常大的,1%的電,還是很明顯的。
第二,變壓器,大家現(xiàn)在遇到一個(gè)什么瓶頸,向電力局,向電力公司報(bào)裝新型容量的時(shí)候,它的容量是有限的,你報(bào)了2N,整個(gè)便電鋸一半為數(shù)據(jù)中心冗余,當(dāng)變壓器不再是2N結(jié)構(gòu),而是4+1、5+1、6+1,對國家能源的占用、預(yù)留又會(huì)降低很多。比如北京供電五月供電質(zhì)量比較穩(wěn)定的地方,這種方式可以去適用,或者更大規(guī)模地去用,當(dāng)然它會(huì)帶來運(yùn)營人員的應(yīng)急能力的考驗(yàn)。所以說降低架構(gòu)的同時(shí),其實(shí)就加大了對運(yùn)營人員的要求,從2N到N+1,把N控制得好,控制在小于等于5,這個(gè)架構(gòu)的改變對整個(gè)國家的能源其實(shí)降低了很多。
第三,智能照明,我們的照明占到數(shù)據(jù)中心的比例哪怕是0.01%,這個(gè)數(shù)量也是很可觀的,尤其對于大的互聯(lián)網(wǎng)公司,0.01%的能源占比,比如說照明,傳統(tǒng)的照明有T5、T8、LED,還有普通的照明,像張北采用的是LED的固態(tài)照明,按需分區(qū)控制,照明不是通過技術(shù)創(chuàng)新,是需要從細(xì)節(jié)上把控,從設(shè)計(jì)的源頭上就開始設(shè)計(jì)。
第四,蓄電池組在線升壓自放電測試技術(shù)。改變原來直接放電降壓的方式,因?yàn)槟鞘侵苯臃烹?,那個(gè)時(shí)候一旦停電是有風(fēng)險(xiǎn)的,相反我們進(jìn)行逆向思考,采用升壓放電,我這路電壓偏高,另外就進(jìn)行放電,就把思維倒轉(zhuǎn)過來,這種方式起碼能保證不段電。當(dāng)然對2N的UPS不是這種,但是對于互聯(lián)網(wǎng)這個(gè)放電技術(shù)還是值得行業(yè)去研究,我們現(xiàn)在在應(yīng)用,而且普遍的蓄電池的接口,在傳統(tǒng)的機(jī)房當(dāng)中沒有這種接口,所以希望新的數(shù)據(jù)中心在建設(shè)的時(shí)候就把這個(gè)接口預(yù)留出來,很簡單,就在配電箱增加一個(gè)接口就可以了,可以大大增大運(yùn)營人員的放電效率。這個(gè)蓄電池技術(shù)已經(jīng)十年了,是一個(gè)成熟的技術(shù),但是現(xiàn)在會(huì)用的不太多,敢用的更少。大家可以去嘗試一下。這個(gè)對能源有什么好處?它不用把能源直接消耗到空氣當(dāng)中,它是把現(xiàn)有的蓄電池的電能還是回到IT的負(fù)載當(dāng)中,它對外沒有熱量的散出,其實(shí)這也是一種間接的能源的回收利用。
第五,一路高壓直流有它的有點(diǎn)和它的不足之處,我們張北不同的模組進(jìn)行了不同的嘗試,假如說我既保留2N的結(jié)構(gòu)又要保持它的轉(zhuǎn)換效率怎么做?我們原來有三種架構(gòu),UPS做好,高壓直流做過,能不能做到4N,四種線均分也就四種線交互冗余技術(shù)。它通過負(fù)載均分,項(xiàng)目備用,既滿足了2N架構(gòu),又提高了高壓直流的這種利用效率,這是另外一種架構(gòu)模式。
第六,模塊休眠與自動(dòng)喚醒技術(shù)。這個(gè)模式可能每個(gè)設(shè)備里有,但是敢用的、真能用的有可能不是太多,有可能是有,通過喚醒和休眠,這塊的節(jié)能有一個(gè)百分之三到五的降低,這里面有兩點(diǎn)。一個(gè)是負(fù)載電流加充電電流。你要設(shè)定一個(gè)計(jì)算。第二個(gè)是A類告警自動(dòng)喚醒,當(dāng)它在睡眠的時(shí)候出現(xiàn)告警的時(shí)候就是不要再稅改了,起來工作,因?yàn)橐揽扛邏褐绷饔惺宓蕉畟€(gè)模塊,可以有十到十五個(gè)進(jìn)行休眠,它會(huì)根據(jù)負(fù)荷自動(dòng)調(diào)整。同樣UPS也有這種功能。我們總體叫這種模式ECO模式,它在菜單里像一些主流的,比如說中恒(音)、中達(dá)(音)本身就具備這種功能,希望我們的運(yùn)維人員把這種功能開啟,你要是不放心的話可以進(jìn)行部分開啟,也可以進(jìn)行廠家反復(fù)的測試,然后再進(jìn)行系統(tǒng)應(yīng)用,所以說后續(xù)的高壓直流的使用和研發(fā),還是要更加貼近用戶的需求,現(xiàn)在是有,但是我覺得還是有很多需要優(yōu)化的地方。它的休眠與喚醒實(shí)現(xiàn)起來還不是太我們對這個(gè)短名單,我們對這個(gè)品牌進(jìn)行入圍的時(shí)候進(jìn)行限定。
第七,削峰填谷水蓄冷應(yīng)用。蓄電技術(shù),當(dāng)電價(jià)調(diào)低的時(shí)候進(jìn)行充電、蓄水、蓄冰,削山填谷,存能、存水,或者是蓄冰,現(xiàn)在這三種技術(shù),我們都有嘗試。
第八,EC風(fēng)機(jī)。不要小看風(fēng)機(jī),風(fēng)機(jī)占數(shù)據(jù)中心的耗電量很多,我們空調(diào)末端有N臺(tái)EC風(fēng)機(jī),這還是有一定的節(jié)能效果,其實(shí)大家想一想,現(xiàn)在建一個(gè)數(shù)據(jù)中心花不了多少錢,而更貴重的是這一年的電費(fèi),幾年的電費(fèi)就超過一個(gè)數(shù)據(jù)中心的總的投資,所以在設(shè)備選型、采購設(shè)計(jì)的時(shí)候,優(yōu)先要考慮節(jié)能,比如說EC風(fēng)機(jī)五千塊錢,可能一年就把你成本回收過來,比如說高壓直流,看似你虧了一萬塊錢,比如十年下來,它提高了1%的能效,那么這個(gè)節(jié)省的電費(fèi)又多少,一臺(tái)高壓直流三百千瓦,1%就是三千瓦,一小時(shí)三千瓦,一年又是多少電。所以我們希望更多更優(yōu)秀的產(chǎn)品能夠應(yīng)用到數(shù)據(jù)中心來。
第九,下面說一下UPS,UPS已經(jīng)非常成熟了,UPS是一個(gè)非常成熟的產(chǎn)品,我們在選配的時(shí)候,有公平的,有高頻的,有六脈通,有十二脈通,有的模塊具備休眠模式,也叫VMSS,這是一種模式,還有一種模式叫靜態(tài)高效節(jié)能模式,這個(gè)功能我們叫ESS模式。設(shè)備采購、設(shè)計(jì)的時(shí)候如果有了這種功能,其實(shí)對后續(xù)的維護(hù),降低PUE、降低總的成本都是需要高度的。這里要說到,不光要進(jìn)行模型的選擇,還要進(jìn)行功能選擇。
第十,無功自動(dòng)補(bǔ)償,它的要點(diǎn)就是自動(dòng)補(bǔ)償和進(jìn)行濾波,提高使用率。
第十一,柴發(fā)水套電伴熱節(jié)能。當(dāng)數(shù)據(jù)中心對PUE要求極致的時(shí)候,大家發(fā)現(xiàn)我們在高壓配電和柴發(fā)里有幾個(gè)常年發(fā)熱的器械,比如說柴發(fā),一個(gè)柴發(fā)有兩個(gè)電伴熱,一小時(shí)就耗那么多電,而且不止一百臺(tái),一個(gè)數(shù)據(jù)中心,像張北一般就是一百多臺(tái),就近一百五十臺(tái)的發(fā)電機(jī)。
最后說一下管理角度。
第一,目前阿里普遍新建的數(shù)據(jù)中心采用租電分離,PUE獎(jiǎng)懲激勵(lì)。比如我們希望PUE做到1.3以下,大家省下的錢一人一半,當(dāng)1.3到1.4之間,我不獎(jiǎng)也不罰,比如超過了1.4,多余的部分你來掏,我不掏。按照負(fù)載率和裝機(jī)率分段考核,人性化的考核,可能春夏秋冬進(jìn)行不同的考核。
第二,能效指標(biāo)評(píng)價(jià)。單純的PUE不足以衡量,我們還有一個(gè)加權(quán)平均PUE,也就是WAPUE,就是我們要多重的考核指標(biāo)。
第三,WUE也有限定,我們爭取控制在WUE小于0.9,能做到0.2-0.9更好。
第四,工藝精細(xì)化。這涉及到整個(gè)通道的封閉、保溫、隔熱、防爆、除塵、電磁屏蔽、環(huán)氧地坪、地面硬化等。要善待運(yùn)維人員,提高他們的積極性和責(zé)任心。
第五,能效管理與考核系統(tǒng)。這是張北的一個(gè)控制DCOS、IDCM、DCIM、BMS、GOC,這塊才是最未來大的方向,現(xiàn)在有叫DCM的,我希望來自于更多的智能化的管理,而不是靠數(shù)據(jù)分析靠人工,而是希望有一個(gè)更上層、更智能的軟件來進(jìn)行分析。目前業(yè)界已經(jīng)有很多廠家在做,但是離我們的需求還是有一定的差距,當(dāng)數(shù)據(jù)中心大力發(fā)展的時(shí)候,我們希望更多的優(yōu)秀廠商出來,比如說現(xiàn)在國內(nèi)已經(jīng)在做的有DCM、中聯(lián)創(chuàng)新(音)等等,總之一句話,未來需要更加智能的平臺(tái),或者是機(jī)器人,或者是更先進(jìn)的人工智能來管理我們現(xiàn)在的龐大的數(shù)據(jù)中心,對能源、對國家未來的能源的消耗有一個(gè)充分利用和最大化的利用。