云数据中心建设方案

云数据中心建设方案

第1章总述

为进一步推进信息化建设，以信息化推动股份有限公司业务工作的改革与发展，需要建设股份公司的新一代绿色高效能数据中心网络。

1.1数据中心建设需求

1.1.1传统架构存在的问题

现有数据中心网络采用传统以太网技术以及X86服务器构建，随着各类业务应用对IT需求的深入发展，业务部门对资源的需求正以几何级数增长，传统的IT基础架构方式给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题：

维护管理难：在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不

同领域、不同服务方向，工作繁琐、维护困难，而且容易出现漏洞和差错。比如数据中心

新增加一个业务类型，需要新采购服务器，从选型到采购有一个漫长的周期，将新服务器

设置完成，安装完必须的OS和补丁以及应用软件，又是一个过程，将服务器上线需要配

合网络管理员调整新的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、还是需

要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应的接口，如何跳线，以及

随之而来的VLAN、路由等等，如果网络中还有诸如地址转换、7层交换等等服务与之相

关联，那将是非常繁杂的任务。当这样的IT资源需求在短期内累积，将极易在使得系统

维护的质量和稳定性下降，同时反过来减慢新业务的部署，进而阻碍公司业务的推进和发

展。

●资源利用率低：传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比

发展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储备过多，二者相互之间又无

法借用和共用。最常见的现象就是有些服务器CPU利用率持续饱和，而有些服务器则利

用率过低，资源无法得到有效利用。这是由于对底层IT建设是以功能单元为中心进行建

设的，并不考虑上层业务对底层资源调用的优化，这使得对IT的投入往往无法取得同样

的业务应用效果的改善，反而浪费了较多的资源和维护成本。

●服务策略不一致：传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法

真正从整个系统角度制订统一的服务策略，比如安全策略、高可用性策略、业务优化策略

等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提

供强大的服务支撑。

因此，按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求，本次数据中心建设必须从根本上改变传统思路，遵照一种崭新的体系结构思路来构造新的数据中心IT基础架构。

1.1.2数据中心目标架构

显著简化的架构

数据中心需要大大简化当今服务器和网络部署的方式。将交换资源集中在一起，通过消除刀片机箱内部的交换，减少了网络接入层分段。采用了统一阵列，在一个联合基础设施上传输局域网、存储和高性能计算流量。这一方法能够整合或完全消除多个服务器适配器、机箱交换机、线缆及其它外围础设施。这种简化相比传统计算环境，可将支持基础设施所需的电源、冷却、管理和安全设备减少一半。

利用简化和嵌入的管理功能，数据中心管理员现在可以在一个作为统一计算中枢系统的统一管理域内，实现集中管理。嵌入式设备管理软件可以将一个拥有数百台服务器和数千台虚拟机的系统作为一个高度可用的联合系统来管理。这种嵌入式方法使多个管理员角色能够在管理基础设施及其策略方面实现动态交互。现在，管理员可以整合所需的一切基础设施策略，将应用部署到被称作服务配置文件的可重复移动结构中。这一结构可以有效改进IT生产率和业务灵活性。现在，基础设施可以在数分钟内配置完成，而不必再花费几天的时间，从而让IT部门能够将工作重点从维护转向战略性工作。

针对虚拟化的端到端优化

统一计算架构已针对从处理器到汇聚层的整个虚拟化环境进行了优化。最新工业标准技术可带来更出色的虚拟化性能，卓越的可扩展性和增强的灵活性。在服务器中，通过平衡CPU和I/O能力，同时提高内存容量，每服务器可以托管比以往更多的虚拟机。通过向虚拟机提供网络策略和安全性的可见性和可移植性，可在物理与虚拟环境之间实施一致的运营模式。结合嵌入式管理和服务配置文件结构，这一自动化功能可提高响应能力，减少人为错误出现机会，提高一致性，并缩短服务器和网络部署时间。

不断满足未来需求的架构

统一计算架构为数据中心提供了充足的扩展空间，同时能够支持未来的技术发展。统一计算元件经过预先设计，能够支持未来技术，例如未来将推出的4万兆以太网。该架构的简单性使得数据中心能够不断扩大规模、提高性能和增加带宽，而不会像旧平台一样出现复杂性的增加。这一方法可帮助提高当今的ROI，同时保护长期投资。

1.2数据中心设计目标

在基于思科统一计算设计框架下，新一代数据中心应实现如下设计目标：

●简化管理：数据中心物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，

使维护管理的难度和成本大大降低。

●高效复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，

提高使用效率。即能够实现总硬件资源占用量降低了，而每个业务得到的服务反而更有充

分的资源保证了。

●策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象

的服务，每一个被充分抽象的服务都按找上层调用的目标进行统一的规范和策略化，这样

整个IT将可以达到理想的服务规则和策略的一致性。

1.3数据中心技术需求

下一代数据中心应被视为一个跨越所有单一技术领域的一体化的、集成的设计。通过在一个高度可用的联合系统中整合计算、网络、存储访问和虚拟化功能，实现灵活的数据中心自动化，进而降低成本和提高灵活性。要实现上述目标，必须对IT基础架构提出以下要求：

降低总体拥有成本（包括前期投资开支与后期运营开支）；

通过减少管理点数量，大大简化管理难度；

通过将整合多个物理服务器到一个物理服务器大幅降低软硬件成本；

通过在一个高度可用的管理域中运行物理服务器和大量虚拟机，在不增加复杂性的前提下，实现可扩展性；

每个服务器的平均利用率从5％-15%提高到60%-80%；

降低运营成本，包括数据中心空间、机柜、网线，耗电量，冷气空调和人力成本。

通过加快基础设施配置来支持虚拟化和非虚拟化环境，提高数据中心员工的工作效率

部署时间从小时级到分钟级，服务器重建和应用加载时间从20-40 hrs =>15-30 min，

每年节省10,000 人/小时（300台服务器）；

原来硬件维护需要之前的数天/周的变更管理准备和1 - 3小时维护窗口，现在可以进行

零宕机硬件维护和升级。

提高服务水平

帮助您的企业建立业务和IT资源之间的关系，使IT和业务优先级对应；

将所有服务器作为统一资源进行管理，并按需自动进行动态资源调配；

无中断的按需扩容。

旧硬件和操作系统的投资保护

不再担心旧系统的兼容性，维护和升级等一系列问题。

当前的能源日趋紧张，能源的价格也飞扬直上；绿地（Green Field）是我们每个人都关心的议题。如何最大限度的利用能源、降低功耗，以最有效率方式实现高性能、高稳定性的服务也是新一代的数据中心必须考虑的问题。

下一代数据中心通过将各种单项技术集成在一个联合系统中，管理功能将可以得到进一步整合，并内建在系统中，从而使得IT基础设施策略能够在整个系统中得到一致的应用，同时，新的数据中心将大大简化管理难度，提高效率，为企业提供灵活，坚实的IT基础架构。

第2章数据中心技术实现

根据以上新一代数据中心的技术要求，必须对传统数据中心所使用的常规运营模式进行革新，采用思科统一计算系统和虚拟化技术来打破各种孤岛－这些孤岛在阻碍应用共享基础的同时，会导致IT资源不能得以快速充分利用。

2.1整合能力

2.1.1统一交换平台

思科统一计算系统的重要目标是实现传统数据中心最大程度的资源整合。一般在传统数据中心中存在两种网络：传统的数据局域网和使用光纤存储交换机的存储交换网络。统一交换平台将这两种网络实现在统一的传输平台上，即使用一种交换技术同时实现传统数据网络功能和远程存储。这样才能最大化的实现资源的整合，降低系统复杂程度，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。

要实现存储网络和传统数据网络的双网合一，使用思科统一交换平台实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是Fiber Channel Over Ethernet技术（FCoE），它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见FCoE 的相关Web Sites。(https://www.wendangku.net/doc/f64819090.html,https://www.wendangku.net/doc/f64819090.html,/fcoe )

本次数据中心建设将做好FCoE的基础设施准备，并将在下一阶段完成基于FCoE技术的双网融合。

2.1.2无丢弃以太网技术

为保证一体化交换的实现，统一交换平台改变了传统以太网无连接、无保障的Best Effort传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”以太网目标。在思科统一交换平台中以硬件及软件的形式实现了以下技术：

基于优先级类别的流控在DCE 的理念中是非常重要的一环，通过它和拥塞管理的相互合作，我们可以构造出“不丢包的以太网”架构；这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCE的数据平台。

●带宽管理在以太网络中提供类似于类似帧中继(Frame Relay)的带宽控制能力，它可以确

保一些重要的业务应用能获得必须的网络带宽；同时保证网络链路带宽利用的最大化。

●拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是

一个巨大的挑战；可以说在目前的所有非连接的网络中，这是一个崭新的应用；目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。

2.1.3统一管理

集中、全面的管理，并与统一交换平台相结合，意味着不再需要人工配置和集成各种独立组件，就能创建一个高效的虚拟池。思科统一计算系统能够简单、自动地执行将一个新服务器部署到系统中的流程，在几分钟内就能完成新服务器的安装、配置并将其投入使用，而不必像传统配置方法那样耗费数小时乃至数天的时间。这一功能不仅有助于提高IT人员的生产率，而且在需要更多资源时能够快速扩展虚拟池的能力。

Cisco UCS Manager是思科统一计算系统的中枢神经系统。它从端到端集成系统组件，因此系统能作为单一逻辑实体进行管理。Cisco UCS Manager提供一个直观GUI、一个命令行界面(CLI)和一个强大的API，因此它能单独使用，也能与其他第三方工具集成使用。通过单一控制台，能够全方位管理服务器配置－系统身份、固件版本、网卡(NIC)设置、HBA设置和网络配置文件等，无需为个系统组件配备单独的管理模块。Cisco UCS Manager内嵌在两个互联阵列中。

Cisco UCS Manager全方位配置服务器以及它在系统中的连接。它能设置或配置唯一用户ID (UUID)、BIOS和固件版本；包括MAC地址、VLAN和服务质量（QoS）设置在内的NIC配置；包括全球名称（WWN）、VSAN、带宽限制和固件版本在内的HBA配置；以及包括VLAN、VSAN、QoS和以太通道设置在内的上行链路端口配置。

2.1.4全面整合

数据中心的设计目标之一就是全面整合所有设备，思科统一计算系统简化了当今服务器和网络部署的方式。它将交换资源集中在一起，通过消除刀片机箱内部的交换，减少了网络接入层分段。该架构采用了统一阵列，在一个联合基础设施上传输局域网、存储和高性能计算流量。这一方法能够整合或完全消除多个服务器适配器、机箱交换机、线缆及其它支外围础设施。这种简化相比传统计算环境，可将支持基础设施所需的电源、冷却、管理和安全设备减少一半。

思科统一计算系统采用“一次布线”部署模式，机箱只通过线缆连接到统一交换平台一次，I/O配置的改变只需通过管理系统进行，而无需安装主机适配器以及对机架和交换机重布线。思科统一计算系统不再需要在每个服务器中部署冗余以太网和光纤通道适配器，也不必采用独立布线连接接入层交换机，并为每种网络媒体使用不同交换机，因此大大简化了机架布线。所有流量都路由到中央服务器互联，随后以太网和光纤通道流量可独立传输到本地非整合网络。

2.2虚拟化

几乎每个人都知道虚拟化的优势：

●整合工作负载；提高利用率；降低运营、投资、空间、耗电和冷却开支等。

●在虚拟池中动态地移动工作负载，提高使服务器离线或新增加服务器在线的灵活性。

●管理虚拟机与物理机之间的关系，优化性能，保证服务水平。

●使用现有资源池创建更多虚拟机，从而扩展当前应用或部署新应用。

●使用虚拟化软件的高可用性和灾难恢复功能，来解决本地和跨地区故障问题。

虚拟化使应用部署与服务器购买分离开来，但是这一优势和其他虚拟化优势只有在应用程序运行在一个或多个统一的服务器资源池时，才能能够最好地发挥出来，思科统一计算系统就旨在提供这样一个环境。专为虚拟化环境而优化的思科统一计算系统是下一代数据中心平台，在一个紧密结合的系统中整合了计算、网络、存储接入与虚拟化功能，旨在降低总体拥有成本（TCO），同时提高业务灵活性。该系统包含一个低延时无丢包兆的统一交换平台，以及多台企业级x86架构服务器。它是一个集成的可扩展多机箱平台，在统一的管理域中管理所有资源。

2.2.1使用虚拟接口和Cisco VN-Link技术进行联网

传统的刀片服务器为部署虚拟环境增加了不必要的成本、复杂性和风险。在大多数网络部署中，网络接入层被分为三个层次，很难控制网络连接并保证其安全，增加了VM到VM联网的延迟，难以进行高效管理：

●接入层交换机通常属于数据中心基础设施范畴，由网络管理员管理，对安全和QoS进行高效控

制。

●刀片服务器中的交换机增加了一个新网络层，它们使用的处理器和特性集常常与数据中心接入

层交换机所用的处理器和特性集不同。

●虚拟软件厂商部署的软件交换机占用CPU周期来模拟网络硬件，其代价就是降低应用性能。这

些软交换机常常超出了网络管理员的控制范围，经常由服务器管理员配置。

这些环境中的接入层划分导致的结果是，在同一刀片服务器中的虚拟机、同一机箱中的虚拟机或不同机箱中的虚拟机之间通信时，采用不同交换设备来实现VM到VM通信。很难在各层实现统一管理，尤其是在虚拟机在服务器间动态移动时就更为困难。

思科统一计算系统将VM到VM通信所需的交换机精简为统一交换系统，由此简化、加速并保护了交换。这种方法为系统中的所有网络通信提供了单一控制和管理点：

●单一接入层交换机，即Cisco UCS 6200系列互联阵列，支持虚拟机间的所有网络流量传输，而

无论虚拟机位于何处，为网络流量提供了单一控制和管理点。

●无需在刀片中部署交换机，而是使用Cisco UCS 2200系列阵列扩展模块，将所有流量从刀片服

务器传输到6200互联阵列。

●无需使用件交换机，虚拟机直接连接到物理NIC，采用直通交换或采用Hypervisor-bypass技

术对其进一步加速。

2.2.2Cisco VN-Link技术

思科统一计算系统中的每台服务器都通过一条或多条物理链路连接到统一交换平台。Cisco

VN-Link技术能在单一物理链路上配置多条虚拟链路。虚拟链路将虚拟机中的一个虚拟NIC (vNIC)连接到交换平台中的一个虚拟接口。当使用Cisco UCS 1280虚拟接口卡时，从与虚拟机连接的物理接口创建一条虚拟链路（参见下图）。这使得对于虚拟机的网络连接的管理能像管理物理服务器的物理链路一样进行。虽然进出虚拟机的所有流量都通过各自不同的虚拟链路传输，但QoS、VLAN

和访问控制列表(ACL)等属性能从单一管理点统一管理。

一个虚拟接口与一个物理接口相关联，这种关联能根据需要改变。当一个虚拟机从一台服务器移动到另一台服务器，该虚拟机的虚拟链路所连的虚拟接口只要简单地与另一个物理端口建立关联就可以了。现在，虚拟机的网络特性也能随它们一起在服务器间移动，不必再在多个交换层间进行复杂的协调。

在统一交换平台中的虚拟接口与服务器中虚拟接口卡所支持的物理接口之间，思科统一计算系统通过硬件部署了Cisco VN-Link技术。在使用非Cisco UCS VIC1280接口来传输虚拟机网络流量时，使用Cisco Nexus? 1000V系列交换机，在软件中也能实现相同的管理简洁性。

2.2.3Cisco UCS 1280虚拟接口卡的Cisco VN-Link技术

当服务器配置了Cisco UCS 1280虚拟接口卡时，思科统一计算系统能发挥最大功效。这些卡采用灵活配置的I/O，使Cisco UCS Manager能创建多达256个（其中8个预留，供系统使用）以太网NIC 或光纤通道HBA的任意组合，其身份（MAC地址和WWN）可动态编程。这个虚拟接口卡提供了足够的接口，保证每个虚拟机都能拥有一个或多个专用物理接口，因此不再需要虚拟软件层面的交换。

Cisco UCS Manager与VMware vCenter软件共用，能够协调虚拟机及它们直接与之通信的接口的创建和移动。Cisco UCS Manager中的端口配置文件定义了虚拟机所使用的NIC配置，在创

建VM或将VM移动到另一服务器时，灵活地引导管理器配置虚拟机所需的接口。端口配置文件的名称与VMware ESX服务器中的端口组名称相对应。当VMware ESX服务器希望创建一个新虚拟机或设置虚拟机移动的目的地时，它将端口组名称告知虚拟接口卡。虚拟接口卡向Cisco UCS Manager 询问具有相同名称的端口配置文件，然后虚拟机就能使用预期的设备来连接网络。

VM Direct Path技术进一步优化了虚拟机I/O，使所有I/O流量完全绕行绕开了虚拟软件的管理程序，因此消除了I/O敏感型工作负载虚拟化时所遗留的瓶颈之一。思科支持采用Cisco UCS VIC 1280的VM Direct Path，它建立在同一VN-Link基础上，便于配置和管理

2.2.4服务器虚拟化

服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。当前商用化最为成功的服务器虚拟化解决方案是VMWare的VMotion系列，微软的Virtual Server和许多其它第三方厂商（如Intel、AMD等）也正在加入，使得服务器虚拟化的解决方案将越来越完善和普及。

虚拟化将更多关注服务器如何拥有更多以及更经济的内存配置。虽然高性能的Intel XEON系列CPU的虚拟化技术提高了虚拟机性能，但现在服务器需要更大内存来充分利用服务器的处理器。提高虚拟系统中的虚拟机密度的传统方式是，购买更昂贵、更大型的四路服务器。但这种方法既提高了投资和运营开支，又没能实际解决如何为两路服务器提供更为经济高效的内存的问题。

思科扩展内存技术提供了一种具有极大潜力、经济高效的方法，与其他方式相比，能以更低TCO提高虚拟化密度，使IT机构能够凭借更少资源完成更多任务。Cisco UCS B200 M3扩展内存刀片服务器和Cisco UCS C220 M3扩展内存机架安装服务器就采用了这种技术。从处理器的内存通道角度来

看，该项技术将四个物理上独立的DIMM 映射为单一逻辑DIMM （参见下图）。这一映射支持拥有48个DIMM 插槽的扩展内存服务器，而采用相同处理器的传统服务器和刀片系统最多只能配备12个最高性能插槽，或18个较低性能插槽。

思科扩展内存服务器中的48个DIMM 插槽能插入2、4或8-GB DIMM ，为XX 公司提供了平衡处理能力、内存容量和成本的极高的灵活性。

● 低成本选项使用低成本的4-GB DIMM 来提供高达192 GB 的内存，而不必像使用相同处理器的

其他服务器那样，为获得高内存容量而使用8-GB DIMM 。根据2009年8月公开的内存价格，该选项能够节约60%的内存成本。

● 大内存选项能够为需要最大内存的工作负载提供支持。思科扩展内存服务器在使用16-GB

DIMM 时内存高达512 GB ，实现了采用Intel Xeon 5600系列处理器的双路服务器的最大内存。

无论需要大型内存还是极大内存来优化虚拟化密度，现在都能更加经济地整合更多应用，创建更多虚拟机。

1 4个8GB DIMM Cisco UCS 扩展内存技术 1个32GB DIMM （最多12个）

2.3自动化

在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。

2.4绿色数据中心

数据中心的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径，这本身也是绿色数据中心的必要条件。

思科统一计算系统在硬件实现上实现低功耗、高效率，包括

●采用更少的部件，比传统刀片服务器系统少1/2到1/3的管理部件

●利用最新半导体工艺（越小纳米的芯片要比大纳米的芯片省电）

●降低逻辑电路的复杂度（在接入层使用二层设备往往要比三层设备省电）

●减少通用集成电路的空转（使用定制化的专业设计的芯片往往比通用芯片省电）

●等等……

综上所述，在本次新一代数据中心网络的建设中，将采用基于思科统一计算平台的设计，构建面向服务的高效能数据中心网络平台。

第3章数据中心设计

3.1总体结构

本次数据中心的建设将采用思科统一计算系统。该系统将大大简化目前的服务器架构，并大大简化管理难度，并提供高可用性。

3.2简化服务器架构的优势

采用此架构有如下好处：

●单一管理入口：所有服务器的配置，更改，以及VLAN和VSAN的配置和更改都在一个

界面内完成，无需登陆多个管理模块或管理服务器。同时，也是在同一个管理界面，可以监视所有服务器和统一交换平台的健康状况。

●便于扩展：添加新服务器时，只需简单地将服务器插入机箱，UCSM会自己发现新设备，

并根据策略自动或手动地将服务器的网卡，HBA或虚拟网卡配置好，并联如相应的VLAN 和VSAN。

●加强故障隔离能力：所有的链接都是冗余的，整个系统不存在单点故障，在保证系统的简

洁性的同时，也保证了系统的安全性。