Research on Measurement and Calculation of Power Grid Enterprises Data Centers Power Effectiveness

近年来，数据中心的能耗问题引起了诸多国家政府与相关国际组织的关注，他们通过制定数据中心能效的相关规范和标准，提高数据中心的能效管理水平。这中间，影响力比较大的包括数据中心能效研究组(JTCl study group on energy efficiency of data centers，SG-EEDC)和国际电信联盟(ITU-T SG5)。他们都为数据中心的绿色节能理念的推广和能效标准的制定做出了重要贡献^[3]。

还有一些国际组织也在制定相关的标准，以推动绿色节能数据中心的建设，其中最成功的是绿色网格组织(GreenGrid)。该组织是致力于降低全球数据中心能源消耗的非营利性组织，由IBM、微软等几家知名IT公司联合建立。而创立了全球最权威的绿色建筑LEED认证体系的美国绿色建筑委员会(USGBC)，也针对数据中心建筑增加了绿色认证标准。绿色网格组织已成功开发出一套提高数据中心能效的指标，包括PUE、DCiE等，这些指标都在世界范围内被广泛使用，成功地为大量数据中心的建设和运营提供能源效率比对标准^[4]。

除少数应用可再生能源供电的数据中心外，数据中心的能源消耗全部为电能消耗。对电网企业的数据中心，由于可靠性要求很高，一般不考虑应用可再生能源。因此，电网企业数据中心的能源效率也相当于电能效率。典型的数据中心电能负载如图1所示^[5]。

Figure 1.  Power consumption of a typical data center

根据绿色网格组织的研究成果，PUE和DCiE是数据中心的两个最重要的能效指标：PUE体现数据中心能源效率的总体情况；DCiE则体现数据中心有效能耗的比率。两者的具体定义为：

局部电能利用效率，即partial PUE(pPUE)，实际上是对PUE概念的深化，其目的是对大型数据中心的某特定局部区域能效进行测量和分析^[6]。

如要计算pPUE，需先从数据中心中划分出多个分区。例如，将同一建筑内的电网企业自动化机房定义为区域1(Zone1)，通信机房定义为区域2(Zone2)。

如图2所示，如果将机房划分为自动化机房(Zone1)和通信机房(Zone2)两个分区，则两个区域整体PUE可采用以下公式计算：

Figure 2.  Partial PUE calculation diagram

式中：I代表数据中心中IT设备的耗电量；N代表除IT设备以外其他设备的耗电量。

上述自动化机房和通信机房这两个分区的局部PUE则可采用以下公式计算：

局部PUE适合用于同一建筑内有多个数据中心的局部能效评估。对于电网企业数据中心来说，自动化机房与通信机房，甚至自动化机房或通信机房中的各个独立分区都可独立计算pPUE。通过计算自动化机房或通信机房的PUE，可对其中计算值较高的机房进行针对性的优化，从而提升整体数据中心的能效状况。

从PUE延伸出来的能效指标还包括制冷负载因素CLF(Cooling Load Factor)和供电负载因素PLF(Power Load Factor)，他们的定义分别是：

CLF和PLF这两个指标实质上是对PUE的进一步细化，他们可以分别体现数据中心中制冷系统和配电系统的能源效率，从而进行有针对性的分析和优化^[7]。

制冷系统和配电系统是数据中心中能源消耗最大的两个系统，相对于这两个系统而言，其他系统或设备如消防、监控、环境照明等的耗电量几乎可忽略。因此，可推导出以下近似公式：

将以上各项同时除以IT设备耗电，PUE可以简化为：

由公式(9)可推导出，PUE的取值应当大于或等于1，数据中心的PUE值越大，则表示制冷系统和供电系统所消耗的电能越大，相应的IT设备耗电占总耗电比例越小。由于PUE的定义简单、可测性高、易于计算，PUE已经广泛地被国内外的数据中心所接受。而PUE的其他扩展概念中，DCiE相当于PUE的倒数，pPUE、CLF、PLF则是PUE的有效补充用于应对特殊的情景，为针对电网企业数据中心提出一个有效可行的能效计算方法，下文仅对PUE的测量和计算进行研究。

目前国内一般的能效指标PUE测量方法如图3所示：

Figure 3.  General PUE measurements

数据中心总耗电量的测量可将M1点和M2点测得的耗电量相加。大多数数据中心的供电系统会配备柴油发电机，作为应急备用电源，而柴油发电机工作时也会带来电能的损耗，该损耗不能被忽略。因此，数据中心总耗电的测量应包含市电和柴油发电机两部分。而数据中心中往往会附带一些配套设施，如办公，这部分功能所消耗的电量不应计入PUE的范围内，因此M4点测出的电量应以扣除。

IT设备耗电的测量可选取在M3点：UPS系统的输出电量可很容易地获取。根据PUE的定义，IT设备耗电量的测量应当选取在M5点更为准确，但在实际工程中，IT设备的数往往相当庞大，且设备类型众多，要把他们的耗电量全部准确测出成本太高。

按照图3定义的测量点，PUE的计算方法为：

式中：P_M1、P_M2、P_M3、P_M4分别是M1、M2、M3、M4测量点所测出的耗电量)

在电网企业的实际工程中，数据中心往往与办公大楼合建，对于此类数据中心而言，采用上述一般能效指标测量计算的方法将面临若干现实问题：

1)通过测量数据中心UPS输出功率作为IT负载耗电量，但该UPS系统往往也同时为其他数据中心以外的重要负载供电，如监控中心或调度大厅的大屏幕及坐席设备等，此部分负荷不属于数据中心IT负载之列，但在实际测量中又难以将其分离。因此，这种测量方式会将很多本不属于IT负载的交叉能耗均统计在内，导致PUE值虚高。

2)将UPS输出功率作为IT负载耗电量实际上忽略了UPS后端至IT负载前端的配电设备及线路的损耗，如精密母线或配电列头柜、机柜配电单元(PDU)以及之间的线缆损耗。

3)由于电网企业数据中心是建设在电网办公大楼当中，数据中心中的某些子系统往往与数据中心以外的办公区域共用一些基础设施。典型的如数据中心精密空调的室外冷冻水系统往往是与其他办公用房共用的。

在此类电网企业数据中心中统计PUE，大多会碰到以上的问题。但提出PUE理论的绿色网格组织也并未给出标准的计算方法。在这种情况下，如果采取国内一般的测量计算方法则会产生较大的误差，所得出的数值不但没有很好的参考意义，也难以与其他数据中心进行比较分析。因此，必须研究一种方法更准确地统计此类电网企业数据中心的PUE值。

为解决问题，首先要将数据中心中的耗电负载进行分类。根据PUE的定义，可分为IT负载、供配电设备、制冷设备、其他设施四大类，如表1所示：

然后对应第4节提到的三个问题，采取以下优化的计算方法：

电网企业数据中心UPS系统往往同时也在为其他数据中心以外的重要负载供电，将这些负载完全分离出来测量有一定难度。因此可直接测量向IT负载供电的配电列头柜(精密母线)的输出功率，并累加起来作为IT负载的参考值。这样做不但考虑了UPS输出至列头柜(精密母线)输出之间的开关及电缆的损耗，也将不属于数据中心的负载分离出来了。

PUE的定义中IT负载的功耗仅包括服务器、存储设备、网络设备等IT设备功耗的叠加，但若直接测量每台IT设备的功耗又较为费时费力。若如一般测量方法中将UPS或配电列头柜的输出功率作为IT负载的耗电量是较为准确且有效率的方式，但也是有误差的，因为该方法忽略了UPS或列头柜后端PDU以及电缆的损耗。如采用智能型的PDU测量数据(带电压、电流统计)，则统计量会非常大，且往往PDU测量的数据不够精确，通过这种方法累加的数据反而误差更大。

所幸的是，PDU的损耗率是一个基本确定的值，直接采用该损耗率来计算可得出更为准确的结果。根据国内外相关的研究，PDU损耗率约为3%(空载损耗＋平方率损耗)，在实际工程中，可通过实验计算既定选型的PDU损耗率。又因在一般数据中心当中，配电列头柜(精密母线)已经较为靠近IT负载，其后端的电缆损耗相对于PDU损耗来说可以忽略。从而可以得出：

冷却水系统是包括冷却塔、冷却水泵等在内的为机房空调提供冷却水的一整套系统。系统组成如图4所示：

Figure 4.  Typical figure of cooling water system

该系统往往与电网企业办公大楼中其他非数据中心区域设备(如办公空调)共用，根据PUE的定义，只需统计系统与数据中心关联的部分耗电量，而此部分耗电量难以直接测量，只能通过估算的方法得出，具体如下：

测量数据中心精密空调的制冷量，分别估算出冷水机组、冷却水泵、冷却塔、冷冻水泵的单位制冷量的耗电量，再估算出整个冷却水系统的综合制冷能效比(一般为4～5)。有了这两个数据就可计算出冷却水系统用于该数据中心的耗电量＝∑数据中心空调制冷量×冷冻水系统能效比。

综上所述，在建设于办公大楼中的数据中心的实际能效计算中，可通过优化的测量计算方法得出较为准确的计算结果，如图5所示：

Figure 5.  Optimized PUE measurements

式中：P_M3＝∑数据中心空调制冷量×冷冻水能效比；P_M6＝P_M5×(1-PDU损耗率)%。

根据以上方法，可测量并计算出数据中心当前的PUE能效指标。而通常电网企业数据中心能效指标会受诸多因素的影响而变化，如IT设备的运行负荷，配电设备的运行负荷，环境和季节的变化等，且若采用优化计算方法，冷却水系统等参数一般是通过一个恒定的平均能效比数值估算出来的，无法真实反映随时间变化的实时数据。因此测出当前的PUE指标仅是第一步，若要更准确、全面地了解该数据中心的能耗，并与业内其他数据中心的能耗数值进行比较的话，应当对PUE值进行长期的测量和统计，最终取平均值。

实际工程中，为对PUE进行计算与分析，应采取以上测量计算方法建设数据中心综合监控管理系统，系统应提供能效管理模块，可以分析并计算当前PUE值，统计历史PUE值。能效管理模块的界面应包括PUE的测量和计算方法，当前和历史PUE的能效数据，以及详细的能源成本分析。

目前国内外对PUE指标还没有统一的分级标准，国内电网企业在运行的数据中心PUE值基本在2～3之间^[8]，国内较为节能新建数据中心一般在1.6～1.8，而国外最先进的绿色数据中心PUE值甚至在1.2以下，但采用了多种极端的节能手段，在国内电网企业中未必适合。通过能效测量、计算与统计，可有效地衡量电网企业数据中心的能源成本，指导数据中心的能效管理，优化数据中心的能源效率。根据目前国内数据中心的一般情况，若统计出PUE值大于2.0，则属于偏高水平，有较大的优化空间^[9]，从而可使用多种方法改进数据中心的能效水平，如：

1)提升机房空调运行效率：改善机房气流组织，加强空调协同管理。

2)降低空调使用时长：合理设置制冷环境参数，空调与新风联动控制，条件许可时采用自然冷却替代。

3)空调间接节能：降低室内外温差，改善室外环境，强化机房围护结构保温。

4)供配电设备节能：采用高效率的供配电设备，如高压直流电源、模块化UPS电源。

5)提升UPS设备转换效率：合理配置UPS，降低冗余量，提高UPS负载率，从而有效降低UPS设备的能源消耗。

6)机房布线改造：优化机房强弱电线路，减少对气流组织的影响，降低线缆上的电力损耗。

7)其他节能方式：采用高效率照明系统、加强机房管理等如改善气流组织、优化电源效率、改造数据中心布线等。

目前，我国还没有搭建起完整的数据中心能效指标规范及标准，本文考虑了电网企业数据中心通常与办公大楼合建的特点，采用了优化的测量计算方法，相对于国内一般的计算方法来说更为准确，更贴近于国际通用的数据中心能效定义，更能真实地反映电网企业数据中心的能效水平，更便于其他行业的数据中心进行比较。

电网企业数据中心通常和办公大楼共用部分基础设施，难以将非数据中心区域消耗的能源单独分离出来统计，本文提出了一种易于操作的计算方法，较为准确地估算出共用设施中与数据中心关联的部分能效，可简单有效地计算出数据中心的整体能效水平。同时，本文的统计方法易于在数据中心综合管理系统中实现，并给出了可行的测量标准与计算方法。