数据中心规划与设计

network

中型数据中心机房的规划与设计

    信息化与数字化成为各个企业、行业提高速度、提高效率，获得效益的关键手段，而全球信息化与数字化的愈来愈成熟，为我们追求效益提供了方法、手段、标准。
    （1）数字化：企业的业务、流程、经营、管理等等，相关活动全部进行数字化
    （2）无纸化：过去基于传真、电话的定单模式不能适应数字化的要求，企业或组织的各种活动通过计算机网络自动进行，办公方式转为无纸化办公。
    （3）集中化：分散的信息化不能形成规模效应，信息孤岛不能带来速度和效率提高。当前信息化的趋势是集中管理、集中存储、集中传输、集中交换，带来信息化的集中效应，这种集中效应表现在数据中心的兴起（如图1所示）。

图1  信息集中化的趋势，需要数据中心承载

1  数据中心的物理模型
    数据中心的作用与目的是完成信息的集中管理、集中存储、集中传输、集中交换，从而实现信息集中效益。
    在数据中心中，存在两个层面的平台：网络平台和动力平台（如图2所示）。

图2  数据中心（DC）物理模型的定义

2  数据中心的级别与分类：
    根据美国TIA 942标准与Uptime Institute的定义，将数据中心的可用性等级分为四级（如表1所示）：
    表1

    我国新制定的《电子信息机房设计规范》GB 50174-2008，将电子信息机房定义为A、B、C三类，其中A类要求最高（如表2所示）。
    表2

    按机房的规模，可以分为超大型数据中心、大型数据中心、中型数据中心和小型数据中心等。
    ◆ 超大型数据中心，通常面积大于2000m2，服务器机柜数量大于1000个；
    ◆ 大型数据中心，通常介于800～2000m2，服务器机柜数量200～1000个；
    ◆ 中型数据中心，面积为200～800m2，机柜数量为50～200个；
    ◆ 小型数据中心，面积为30～200m2，机柜数量为10～50个；
    ◆ 无专门场所的服务器/交换机机柜应用等。
    以上规模划分是实际工作中的大致划分方法，并没有严格的划分标准与参照指标体系。划分的目的也仅仅是便于数据中心的规划、设计与建设等。
    本文专门针对中型数据中心机房，探讨相关规划、设计与建设的标准、方法和实践。

3.1  机房选址
    我国《电子信息机房设计规范》GB 50174-2008对机房选址提出了要求，综合美国数据中心标准TIA 942-2005，对数据中心选址可以参考以上标准。
    实际工作中，对于中型数据中心机房的选址，用户通常选择与办公大楼等设施在一起，便于管理与维护。对于办公大楼来说，需要重点考虑以下内容：
    （1）大楼的电力是否足够给数据中心使用。办公大楼在设计与建设的时候，主要面向人员办公需要，属于轻载荷的供电设计。而数据中心的设备供电量要求巨大，这样的重载荷设施放入办公大楼，常常会引起供电系统容量严重不足。无论是供电、亦或是制冷，都是对原有办公大楼用电容量的巨大挑战。
    （2）是否有足够的空间，放置机房空调的室外机系统。办公大楼寸土寸金，面积利用率很高。而数据中心的机房需要恒温恒湿的机房专用系统，365天×24小时的不间断运行。机房专用空调如果采用直接制冷制式（DX），需要足够多的空间安装空调室外机。如果采用冷冻水系统，需要专门的365天×24小时运行的冷冻机组，而不能与大楼的中央空调系统混用。
    （3）机房层高是否足够？办公大楼的层高为民用建筑设计，层高通常为2.8～3.2m。而数据中心需要安装静电地板，顶部吊顶。最佳层高（无障碍物）应该大于3.2m。
    （4）是否有足够容量的载货电梯？通常的办公大楼载货电梯尺寸小、载荷低。而数据中心需要的UPS电源、机房空调等设备，都是大尺寸超重型设备。如果电梯不能运输，势必导致运输成本剧烈增加。
    （5）在办公大楼设置数据中心，因为租金高昂、场地有限、供电不足，将严重限制数据中心的规模和安全级别。

3.2  规划与设计
    中型数据中心机房的规划与设计，其需求源头来自于用户对服务器、软件系统的规划与需求。规划分为部分，包括容量规划（密度规划）、供电系统规划、制冷系统规划、网络规划等。
    容量规划：容量是指中型数据中心机房的初期、终期的服务器等IT设备数量、或者面积。容量规划可以基于两个方面考虑，
    （1）数据中心机房的机柜数量×平均每机柜服务器数量。在采用普通地板送风制冷方式下，每个机柜的热密度为3～5kw/rack，超过这个热密度就必须采用高热密度的制冷解决方案（如图3所示）。

图3  传统开放式机柜+地板下送风制冷

    （2）机房的电力供应。当机房的供电系统（市电+发电机）容量确定之后，可以计算出服务器的总功率。比如发电机最大容量为500kva，那么根据机房的能效PUE值（按2.0考虑），得出机房最大承载服务器容量为250kva（如图4所示）。

    PUE能量使用效率的定义: Power Usage Effectiveness。

   

图4  PUE指标曲线

3.3  供电系统的规划与设计
    当中型数据中心机房的最大容量确定后，用户可以根据预算、机房重要程度，结合《电子计算机机房设计规范》GB 50174-2008和美国TIA 942-2005的标准，确定供电系统与制冷系统。
    对于供电系统，包括从市电、发电机到配电、UPS、输出配电、服务器电源管理系统（列头柜）、机柜PDU等一系列环节（如图5所示）。

图5  数据中心供电系统示意图

    上述标准列出了N、N+1、2N、2（N+1）等冗余方式。
    在中型数据中心机房的市电、发电机等系统，用户可以根据实际情况选择N+1或者2N系统。而UPS供电系统，建议用户采用2N或者2（N+1）方式，确保供电可靠性（如图6、7所示）。

图6  2N式供电系统

图7  2（N+1）式供电系统

    用户选择UPS时，建议采用高频式UPS，因为采用高频IGBT整流+无隔离变压器式设计，输入功率因数高、输入电流谐波小、功率密度高等特点。同时因为UPS占地面积小重量小，搬运方便。
    UPS的电池容量建议根据市电与发电机系统配置，通常为30分钟左右。一般不建议超过2小时的电池配置，重量大、成本高，投资不经济。
    在UPS之后，需安装服务器电源管理系统SPM（又叫列头柜），为服务器机柜提供配电与保护。为提供服务器电源的配电可靠性，建议每一个配电回路都采用监控与管理系统，监控每一路回路的电流、电压、功率、功率因数、谐波、电量等参数，实现配电的安全管理和成本的细致化管理（如图8所示）。

3.4  制冷系统规划与设计
    制冷系统是机房另外一个关键的基础设施。在中型数据中心机房，制冷系统设计包括：地板下送风系统、服务器机柜、机房专用空调等。
    按照机房节能设计实践和标准，通常采用地板下送风、机柜布置按冷热通道方式，是制冷效率比较高的设计方式（如图9所示）。

图9 地板下送风+冷热通道设计

    机房的服务器机柜也是制冷的关键之一。在很多运行的机房中，不少用户对机柜不重视，通常采购一些廉价服务器机柜。而这样的机柜必然带来通风面积小、服务器发热等问题。TIA 942标准规定机柜的通风面积比通孔率大于50%。而当服务器的热密度达到4kw左右是，建议用户采用通孔率大于70%的服务器机柜，确保服务器等IT设备通风量、风速正常。
    此外，为了冷热通道隔离，建议使用挡板，将服务器机柜上空闲的U空间挡住，减少冷空气与热空气的无效热交换。
    进一步的节能设计包括完全封闭的冷通道，实现冷空气与热空气的完全隔离。当然这样封闭式冷通道（或热通道设计），必须符合消防防火等规范（如图10所示）。

    考虑到投资成本、运营成本、维护成本等，建议采用风冷式机房专用空调（DX式）。而水冷或者冷冻水式机房专用空调不适合于在中型机房中使用与推广（如11所示）。

图11  风冷式机房专用空调（DX式）

    风冷式机房专用空调，按照上述标准，采用N+1（2或3）即可实现制冷系统较高的可靠性。在空调的供电上采取分组供电方式，避免单一供电回路导致的单点故障。

3.5  监控系统的规划与设计
    中型数据中心机房的安全与运营监控管理是用户关注的核心内容之一。而这些数据中心机房通常采用无人值守工作模式，机房的安全与运营监控是无人值守的重要手段和工具。它包括：
    机房视频监控系统。视频监控实现机房365天×24小时监控下运行，任何故意或无意的破坏都将记录在案。
    机房设备与环境的监控系统。根据标准，必须实时监控机房的温度、湿度、水浸、供电系统工作参数与状态、空调系统工作参数与状态等，并在故障下主动提示用户采取措施，及时修复故障，确保机房安全稳定运行（如图12所示）。

图12  数据中心的机房监控系统

    特别需要说明的是，中型数据中心机房通常不会配置电源专业人员，日常的管理与维护工作通常外包给专业类公司，IT用户仅仅督导与监控系统的运营维护工作。
    而在众多设备与环境中，电池的监控是比较容易忽视的环节。但是电池恰恰又是系统最后的安全保障，所以对电池的监控建议采用单体电压、单体内阻监控系统，实时在线监控电池的电压与阻抗变化，及时找出弱化电池与系统短木板。
    TIA 942和GB 50174-2008也建议在最重要一级机房，实现对电池组中每一个电池单体电压、单体阻抗的监控。确保系统中所有环节都处于监控之下，实现系统的安全可靠运行。电池单体电压与内阻监控系统图（如图13所示）。

图13  电池单体电压、内阻监控示意图

network

4  中型数据中心机房的建设与概念误区
4.1  关于机房的负载计算与热密度
    IT用户在规划或者设计机房时，普遍遇到的问题就是服务器负载计算问题。购买的服务器，根据厂家给出的功耗累计，往往会得出一个很大的累计功率。可是如果按照这样的累计功率配置供电系统、空调系统，将会出现巨大的投资浪费。
    如何才能得出比较可靠的负载功率呢？建议IT用户对服务器厂家的功耗参数刨根寻底，一定要厂家给出所需配置下实际功率需求。
    比如IBM某型号服务器2008年功耗为（如表3所示）：
表3：

    表3中，单机最大功耗与配置密切相关，而这个数据远远小于铭牌功率，当配置确定后，采用服务器的实际运行功率计算，才能避免供电系统、空调系统的巨大浪费。

4.2  为了创新而使用水系统空调系统
    很多IT用户喜欢创新，在机房建设上根据部分厂商推荐，盲目采用水系统的空调。实际上水系统机房空调在中型数据中心机房并不能节能。
    首先，中型机房的热负荷是有限的，而小容量的冷冻机组的能效比，并不比风冷式空调高。如果采用大楼的冷冻机组，必然又出现在冬天大马拉小车的问题，效率低下。只有当机房规模宏大，采用水系统机房空调才是节能的。
    其次，水系统机房空调容易导致系统的单点故障、单点瓶颈。按照标准，采用水系统时，强烈建议按照2N系统配置，而这样的配置在中型机房无疑是投资巨大、毫无积极性可言。
    第三，水系统的安装、维护成本很高。尤其是维护成本居高不下。因为水系统需用定期的换水维护，这样数据中心可能长时间停机问题。国内第一批使用水系统的大型银行数据中心，在建设新的数据中心时，纷纷弃用水系统，而改用风冷式机房空调系统。

5  中型数据中心机房的建设实例
    大部分的证券公司机房是典型的中型数据中心机房。随着IT技术的迅速发展，我国证券行业的交易与查询网络化、集中化，已处于世界前列。
    某全国性券商因为办公室搬迁，需要在办公大楼内新建一个约400m2的数据中心（如图14所示）。

    因为该券商的业务高速发展，对未来的负荷需求很大。但是机房位于中心区域的办公大楼上，大楼为数据中心提供的电力有限，仅为500KVA（1000A），并且是三路电力合计，这为设计提出了很高的要求。
    在规划阶段，用户希望使用水系统空调，并安装高密度制冷解决方案。对于水系统，规划时候反复与用户交流，在400平方左右的机房安装水系统空调并不能带来太多效率提升，反而造成后续维护成本巨大。经过用户对部分水系统使用反馈调查，最终取消了水系统的计划，改用风冷系统式机房专用空调。
    此外，用户对负载反复确认，最后选择按PUE=1.6、负荷300kw设计数据中心终期容量，系统设计图（如图15所示）。

图15  某证券公司全国数据中心供电系统图

network

成就卓越数据中心 IBM助企业应对未来业务变革

再过一个多月，IBM即将迎接成立一百年的庆典。与之而来的，是IBM在大型主机数据中心的建设上也投入了五十年。但在过去的几年，在这个领域，因为整体环境产生将达的变化，IBM面临了众多的挑战。为了应对这些挑战，三年前，推出了绿色工程计划，计划每年投资十亿美金，主要用来：第一，建设三个大的云数据中心。第二，开发18个数据中心的规划工具。第三，推出数据中心家族，有四个主要的产品。IBM希望通过这18个工具能帮助用户去完成一些成本分析，然后可以得出几条不同的投资跟效益，以供企业高管层做一些参考。这18个工具也是IBM在数据中心领域经过数十年的经验以及技术的累计，从而得以整合出来的。
数据中心的标准，最早提出数据中心的标准是IBM，三十多年前只有IBM做大型主机，只有IBM有专门的工程师在每一个城市，专门替用户去检查数据机房达不达标。IBM只定出数据机房的标准，那个时候并不做实施。二十年前，IBM开始做设计跟实施，有自己的白皮书，但是因为IBM是属于提供服务这一方，所以一般是对内使用白皮书，对外当然有一些国际标准的协会或者相关标准可供参考。


重点是说，有一个标准当然很好，但是标准是死的，或者标准其实可以比较灵活地来解读。举例而言，如果用户要达到一个系统机房故障率是零的程度的时候，成本会非常高，这个时候要检讨说，都已经四个九了，需不需要第五个也是九呢？是不是有足够的信心，能够管理不是单一数据中心的绝高安全性，而是说有切换，灾备、有各种的能力来处理突发的状况，这个是业者要考虑的问题。

一个数据中心基础设施构建有哪些基本的原则要素？在IBM大中华区全球信息科技服务部数据中心服务总经理袁东坡看来，战略规划方面未来会有这18个分析工具作为一个基础，IT架构部分在国内以双核两地三中心这个基础架构为主，普遍为大型国企采用。数据中心的物理建设，IBM这边有数据中心家族，这是一种标准模块化的方案。其中模块化已经在国内大量地采用，全球我们也有四百个建设的案例。针对对中小企业，则有模块化的数据中心，对大型企业有企业级的模块化数据中心。另外，对像军方、石油勘探会有移动式的数据中心，这是针对不同行业不同应用的针对性解决方案。

IBM大中华区全球信息科技服务部数据中心服务总经理袁东坡

数据中心运维方面，十年前数据中心的建设毕竟是物理层级的，比较容易做。数据中心的管理，尤其多中心的管理，这个牵涉到比较复杂的管理技术。所以十年前，IBM推出的企业总控中心，在中国也为大部分的用户接受。从IBM 来看，上述这些是一个基础设施建设时，必须考虑的一些要素。而在这些方面，都有相对应的产品、方法标准，或者工具来协助IBM以及用户来实现。

建设一个新数据中心，千头万绪，从哪里开始呢？这是用户会经常发出的疑问，也因为这些疑问的存在，IBM为了更好的帮助用户去认识、去解决这些问题，在中国推出了《成就卓越的数据中心》这本专门介绍如何构建新一代卓越数据中心的书。过去坊间一般谈数据中心，比较专业和深奥。而这本书的编撰请了五位专家，主要是从信息及IT的环境里面，探讨战略规划应该怎么考量，IT的基础架构应该怎么规划。然后在物理的条件下，数据中心的建设有什么考量的地方？再看相关IT的科技发展会对未来数据中心产生什么样的影响？最后再谈数据中心的运维。

IBM怎么样建设、运维、管理我们自己的数据中心呢？IBM大中华区全球信息科技服务部数据中心解决方案技术总监郭健男认为，经过几十年的发展，IBM今天已经建设并且拥有了80万平米的数据机房，为自己以及为用户提供服务，包含1200多台Z系列大型主机。分布在全球，对于IBM来说，虽然数据中心的物理意义是分散的，但所有的运营都是集中式管理。举例而言，在过去IBM有128个CIO，每一个国家有一个CIO，今天集中只有一个，全球是一个网络架构。这个都是IBM在发展过程中逐渐学习。每一年IBM都会反思这个整合带来的好处，在1998年，IT包含数据中心全部加起来的成本，占公司营收的6.8%。而到今天，这个数字是接近3%多一点，这是一个很重要的指标。

IBM大中华区全球信息科技服务部数据中心解决方案技术总监郭健男

一般的企业，例如非常大型像美国的沃尔玛百货，IT的费用大约占整个企业的营收的2%。而美国的一些银行，当IT也可以支持业务发展时，这个费用接近8%。美国的JP摩根，有20000名IT员工、IT费用高达接近10%——IT能产生大于10%的价值。IBM经过了数十年，今天终于能够把这个IT的成本控制大约在3.5%的营收范围，是非常大的成功。这些都取决于卓越数据中心的建设。

卓越数据中心也采用了相当多新科技，但并不一定是最新的。例如这个水冷背板，废热的回收，蓄冷，自然冷却，这些都是很好的数据中心能采用的一些技术或者产品，而这些技术产品全部都是成熟产品，也都有实际的使用经验，绝对不会让用户充当新产品实验的白老鼠。


同时，IBM也有很多管理工具，在袁东坡看来这样才能够称为一个比较卓越的数据中心。


他数据中心水冷技术的变化为例。IBM经过二十年又走回水冷，在八十年代大型主机都是水冷。IBM有一个小组是专门做高密度的电脑散热、制冷，解决这些散热空调的问题。这一般的机柜，冷风从前面进来，热风从后面进来，有一些甚至可能还有回流，这是今天绝大部分用户机房设置的情况。现在IBM是在这个机柜后面加一块背板，背板有百分之百的把热吸收的能力，所以冷风进去，冷风出来。水冷背板把百分之百的热带走。所谓百分之百是目前15千瓦到25千瓦的散热，是百分之百能够带走。


直接带走的好处是，这是效率最高的一个绿色节能的手段，来解决数据中心设备散热和空调功耗的问题，这是一个最佳方案。去年4月，在美国硅谷，各家不同的制冷设备评比，上述水冷方案最优。所以为什么Emerson在最近马上推出，或者已经推出的机柜后面就加装了IBM的专利产品。


与此同时，数据中心安全措施，不管对人员管理、安全分类还是运作流程，都有一个标准可以参考。MMT也是IBM开发的一个工具，像罗利（美国北卡罗来纳州）的数据中心，他不用这种移动式的MMT来把数据中心的热分布做调研。罗利采用的是定点方式，在每个设备上面以及地上，天上装有摄像头。MMT是IBM的一个工具，可以活动的，到任何数据机房去找出热的分布，从而解决一些散热问题。



未来的数据中心会变成什么样呢？在袁东坡看来，未来的数据中心，会比较靠近发电厂，是一个无人操作的环境，是水冷能够支持高密度，具备有虚拟的功能，或者云计算的功能。未来的数据中心应该是能够使用新的计费模式，会按照用户的使用率来计算费用，未来的数据中心也会变得更加智能，这也是IBM这几年极力倡导的智慧地球的一个组成部分。