华为OceanStor 5300 5500 5600 5800 V3融合存储系统技术白皮书

资料编码

华为OceanStor

5300/5500/5600/5800 V3融合存储

系统技术白皮书

文档版本V1.0

发布日期201408

版权所有? 华为技术有限公司2014。保留一切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司

地址：深圳市龙岗区坂田华为总部办公楼邮编：518129

网址：https://www.wendangku.net/doc/904655157.html,

客户服务邮箱：support@https://www.wendangku.net/doc/904655157.html,

客户服务电话：0755-******** 4008302118

客户服务传真：0755-********

目录

1 概述 (4)

2 “按需供给，简单高效，安全可靠”定义 (6)

3 中低端存储架构介绍 (8)

4 异构虚拟化 (11)

5 SAN和NAS融合架构 (14)

6 数据迁移 (15)

7 高密度的硬盘框 (17)

8 数据重删压缩 (26)

9 自动数据分级 (28)

10 自动精简配置 (31)

11 服务质量保障 (34)

12 缓存分区优化 (36)

13 小结 (38)

14 缩略语表/Acronyms and Abbreviations (39)

1 概述

信息技术从诞生发展到在生活和工作中无处不在，经历了大型机萌芽，小型机应用，个人电脑普及和桌面互联网，如今正在逐步步入移动互联的时代。应用环境的变化催生了数据的大爆炸。根据Gartner的统计结果，在小型机应用阶段，全世界大约生产了2.6EB的数据量；到个人电脑普及阶段，数据量增长到15.8EB；而上一个桌面互联网阶段，数据量几乎翻了3倍，达到了54.5EB；现在的移动互联时代，将会产生高达1800EB的数据。一个问题不禁摆在了人们的面前：爆炸的仅仅是容量吗？

首先，数据的来源更加的多样化。云会逐渐打破个人电脑和消费电子两强的局面，成为最大的数据产生源。未来数据来源的预计参考图表1-1

图表1-1 数据应用来源预测

产生数据的应用在不断变化，带来数据类型随之变化。关键业务数据（如数据库等）量持续增长，但在整个数据容量的比例却急剧减小；企业办公数据迅速增长，电子邮件、大媒体文件等数据一度暂居整个数据容量的最大比例；随着个人数据迅猛增长，媒体娱乐等消费产生的数据迅速替代了企业办公数据在整个数据容量比例中的老大位置。1993年，关键业务和企业办公产生的数据各占50%，个人数据几乎为零；2002年左右，企业办公产生的数据占有70%，关键业务数据占有20%；而到了2010年后，个人数据占据50%的比例，企业办公占有40%，关键业务数据所占比例仅有10%。

这些来自不同数据源的不同类型数据，对数据存储介质的性能、可靠性、成本等

要求是多种多样的。关键业务要求的是高性能、高可靠的存储设备，而个人娱乐

数据强调的却是低成本。如此矛盾的需求却常常要求在同一套存储设备中得到满

足。这些新的趋势对中端存储提出了新的挑战。新一代的中端存储需要具备以下

新的特质，才能不断跟上信息时代的脚步：

1.具备融合、简约、智能的高性价比系统架构

2.满足用户多变的存储使用需求

3.灵活数据规划与管理

4.实用多样的功能特性

(2015-05-14) 第5页, 共39页

2 “按需供给，简单高效，安全可靠”定义

华为OceanStor V3中低端一体化统一存储(以下简称V3系列存储)是面向企业级

应用的新一代统一存储产品。凭借面向云架构的存储操作系统、强劲的新一代硬

件平台和丰富的智能管理软件，V3系列存储在功能、性能、效率、可靠性和易

用性上都达到业界领先水平，很好的满足了大型数据库OLTP/OLAP、文件共享、

云计算等各种应用下的数据存储需求，广泛适用于政府、金融、电信、能源、媒

资等行业。同时，V3系列存储能够提供高效、灵活、丰富的备份、容灾解决方

案，有效保证用户业务连续性和数据安全，为用户提供卓越的存储服务。

OceanStor V3中低端一体化统一存储包括如下型号：OceanStor 5300 V3、

OceanStor 5500 V3、OceanStor 5600 V3、OceanStor 5800 V3四款型号。

按需供给：为客户提供按需供给的存储服务

●异构虚拟化：通过内置异构虚拟化功能，V3系列存储能高效接管其它主流

厂商存储阵列，并整合成统一的资源池，实现资源的统一、灵活分配。

●数据迁移：可以在不中断原有业务的情况下实现将源LUN上的业务完整地

迁移到目标LUN上，使目标LUN可以完全替代源LUN来承载业务，实现

了业务无感知的情况下完成业务迁移。其中，“完整”是指迁移完成后，源

LUN上与业务相关的所有数据完全复制到目标LUN上。

●SAN和NAS融合：通过NAS和SAN统一在一个平台上，实现文件访问

和块访问的统一融合，灵活客户的配置，满足不同应用的需求。

简单高效：简化管理，提高效率

●高密度的硬盘框：高密硬盘框充分利用了框的4U高度，把硬盘从原来的

横插模式改为直插（插秧）抽屉式，并且压缩了级联板的尺寸，比常规硬

盘框的级联板缩小一半以上，尽量腾出空间给硬盘。通过精细的风道设计、

优化的风扇调速策略以及加强的风扇使用，最终解决了高密磁盘的散热问

题，同时也满足噪声要求和功耗占用。

●自动数据分级：自动分析单位时间内存储数据访问频率，根据分析结果自

动将存储数据迁移到不同性能的硬盘中（高性能层硬盘存储活跃数据；性

能层硬盘存储热点数据；容量层硬盘存储冷数据），获得最优的综合性能

并且降低单位IOPS成本。

●自动精简配置：使存储空间能够根据需要自动扩展，而不必像传统方式那

样一次性将存储空间全部分配出去，因此只需要配置少量硬盘即可开展业

务，后续再根据存储空间使用情况新增硬盘，从而降低初次购买成本和TCO。

●数据重删压缩：通过基于硬件卸载的重复数据消除和压缩功能，实现数据

的精简存储，降低单位GB的存储成本，提高数据存储效率。

安全可靠：通过虚拟化架构，构建安全可靠资源池

(2015-05-14) 第6页, 共39页

●服务质量保障：可根据业务数据的一系列特征进行分类（每一种分类代表

一种应用），并能够对于每一种分类设置优先级和性能目标，从而将合适

的资源提供给合适的业务，达到充分利用存储资源的目的。

●缓存分区优化：通过对系统核心资源的分区，保证关键应用的服务性能。

用户可以配置不同大小的缓存分区，系统将保证该分区中业务应用所占用

的缓存数量，并根据实际情况自动调整不同分区中的主机端并发数量，从

而保证位于该分区中的业务应用的服务性能。

(2015-05-14) 第7页, 共39页

3 中低端存储架构介绍OceanStor V3中低端统一存储系统采取引擎间IP互联架构设计实现横向扩展。引

擎间的业务交换和镜像通道由10GbE以太网承载。系统最大支持4个引擎，每对引擎包含2个控制器，整个系统最大支持8个控制器。每个控制器分别与2个交换平面通过10GbE以太网交换机进行互连实现数据转发。

引擎内的两个控制器之间采用PCIe 3.0背板互联设计（如图二），由

8 lane PCIe3.0

组成双控间的高速镜像通道。

图二双控PCIE3.0互联

在集群组网中，交换通道支持交换和直连组网。交换组网（图三）中多个控制框

之间通过10GbE以太网连接到两个冗余的数据交换机DSW（Data Switch）中，

在DSW中实现数据交换，此种集群最大支持到8个控制器；在直连组网（图四）

中，一个网卡上的2个网口分别连接到另外一个引擎的控制器，此种集群最大支

持到4个控制器。由于交换链路采用双链路设计，保证集群数据交换网络的冗余

性。采用IP互联可以为以后集群的扩展预留空间，更适合将来的集群弹性扩展。

而双控间数据交换和镜像通道采用全PCIe的互联架构，实现更加高效的数据交

换。

(2015-05-14) 第8页, 共39页

图三多控架构示意图

图四四控架构直连组网图

4个控制框之间通过10GbE互联以太网连接到两个冗余的DSW（Data Switch）

中，在DSW中实现数据交换，同时也保证集群数据交换网络的冗余性。采用IP

互联可以为以后集群的扩展预留空间，更适合将来的集群弹性扩展。而双控间数

据交换和镜像通道采用全PCIe的互联架构，可以实现更加高效的数据交换。

全新的OceanStorV3中低端全系列都拥有PCIE3.0全互联、后端SAS3.0技术和

Intel新一代IvyBridge CPU所带来的高速通道和强劲的计算能力，灵活满足客户 (2015-05-14) 第9页, 共39页

越来越高的性能需求。而中低端与高端一样无单点故障的设计和Scale-out的扩展

能力，更是为只有有限预算的客户带来了高端存储才有的高可靠性和灵活扩展性。 (2015-05-14) 第10页, 共39页

4 异构虚拟化

OceanStor V3中低端一体化统一存储着眼于客户的存量设备，为异构设备提供丰富的异构虚拟化功能。通过异构接管功能降低用户管理不同异构阵列的复

杂度并提升异构LUN性能；通过提供异构LUN在线迁移实现在不断业务的情况下

实现异构LUN之间数据平滑的迁移；通过提供异构远程复制技术实现异构LUN间

的容灾；通过提供异构快照技术实现异构LUN的快速备份。异构虚拟化技术软件

名称为SmartVirtualization。

异构虚拟化的工作原理就是把异构阵列映射到本端阵列的LUN，作为可为本端阵列提供存储空间的逻辑盘LD，再在该逻辑盘LD上创建为可对主机映射的

eDevLun，逻辑盘LD为eDevLun的Data Volume提供了全部的数据卷存储空间，

eDevLun的元数volume空间由本地存储提供。异构虚拟化可保证外部LUN数据完

整性不被破坏。

(2015-05-14) 第11页, 共39页

(2015-05-14) 第12页, 共39页

图五 异构虚拟化示意图 由于eDevLun 与本地LUN 基本上具有相同的LUN 属性，所以，通过

SmartMigration 技术为异构LUN 提供在线LUN 迁移功能，通过

HyperReplication/S 技术为异构LUN 提供同步远程复制功能，通过

HyperReplication/A 技术为异构LUN 提供异步远程复制功能，通过HyperSnap

为异构LUN 提供异构快照功能。同时通过SmartQos 和

SmartPartion

技术，以及CACHE 可回写策略提升异构LUN 性能。

异构虚拟化化可以满足各种场景的需求：

异构阵列接管

用户的数据中心通过长期的建设，数据中心可能存在来自不同异构厂商的存

储阵列。

如何很好的管理和应用好来自不同厂商的异构阵列给存储管理员提出了

很高的技术要求。存储管理员可通过异构虚拟化接管功能，可大大降低对管理异

构阵列的技术难度和复杂度。

存储管理员只需要管理好华为阵列就能达到管理好

所有异构阵列的目的，从而减轻了存储管理员的工作负担。其场景特点就是简化

用户管理。

异构数据搬迁

用户数据中心可能存在大量的存量异构设备，有些设备可能即将过保或性能

不能再满足业务要求，在购买华为OceanStor V3存储后，客户可能希望把存量

LUN 上的业务迁移到新购阵列中。客户可通过异构虚拟化LUN 在线迁移功能，在EMC IBM

HDS/HP

Huawei

线迁移异构LUN数据到新购阵列中，数据迁移过程中，主机业务正常运行，但在

进行数据迁移前，需要对异构LUN进行接管。其场景特点就是异构LUN数据搬迁

过程中，主机业务不中断。

异构容灾

如果客户业务数据分散在不同的站点，且对业务的持续性要求较高时，需要各业务站点的数据互为备份和业务切换。当灾难发生时，能够通过互为备份的

站点进行业务数据的接管和数据恢复。但是，可能由于数据站点的阵列来自于不

同的异构厂商，导致异构阵列间的数据无法做到互为备份。异构虚拟化提供的异

构同步和异步复制功能，可以使异构阵列间的LUN数据做到互相备份，做到站点

间的数据容灾。

异构数据保护

客户异构阵列上的LUN数据可能受到病毒或其他原因导致LUN数据受到破坏。

异构虚拟化提供异构快照技术可为异构LUN提供快照备份，快照瞬间完成，当数

据被破坏后，可通过快照迅速的回滚到指定的快照时间点的数据，迅速恢复数据。 (2015-05-14) 第13页, 共39页

(2015-05-14) 第14页, 共39页

5 SAN 和NAS 融合架构

统一存储的OceanStorV3融合平台架构如下图六，文件系统和LUN 是平行的出

在Space 子系统之上，下面是基于RAID2.0+的块虚拟化存储池子系统。在这个

架构中，文件系统和LUN 都直接与底层的Space 子系统交互。文件系统架构是

基于对象的，每个文件或文件夹是一个对象，每个文件系统是由对象组成的对象

集。对于LUN 来说，LUN 分Thin LUN 和传统的Thick LUN 。二种LUN 也都来

自于Pool 和Space 系统，并没有建立在文件系统之上。这样简化的软件栈带来的

存储效率比图七这种传统的统一存储架构效率要高，同时LUN 和文件系统各自

保持独立，互不影响。

图六

OceanStor OS

软件平台架构示意图

图七 传统统一存储架构

而对比友商，像EMC 统一存储VNX 的NAS 功能，需要加配X-Blade(NAS 网关)

来提供共享文件服务，采用的文件系统和块服务是运行在二套不同的操作平台之

上，增加了架构和软件堆栈的复杂性；而像Netapp 的FAS 系列，其统一存储虽

然运行在统一平台之上，但块语义是基于WAFL(Write Anywhere File Layout)的文

件系统之上，在软件层级上也较OceanStor V3平台的复杂。从软件堆栈的层级来

看，建立在华为OceanStorV3融合平台之上的统一存储，效率将更高。

6 数据迁移

OceanStor V3中低端一体化统一存储通过LUN迁移提供了智能化的数据迁移手段。可以在不中断原有业务的情况下实现将源LUN上的业务完整地迁移到

目标LUN上，实现了业务无感知的情况下完成业务迁移。LUN迁移不仅支持存

储系统内部的业务迁移，还支持华为存储系统和与其兼容的异构存储系统之间的

业务迁移。OceanStorV3系列存储系统的LUN 迁移软件名称为SmartMigration。

SmartMigration特性实现了把源LUN的数据完全复制到目标LUN，并在复制结束后使目标LUN完全替代源LUN，接管源LUN的业务，即在系统内部和

对外接口上对源LUN的处理完全透明的转换到对目标LUN的处理。

SmartMigration的实现过程分为两个阶段：

1）业务数据同步

通过业务数据的同步，可以保证业务迁移完成后，目标LUN和源LUN上的业务

数据完全一致。

2）LUN信息交换

通过LUN信息的交换，目标LUN继承源LUN的WWN等信息，确保主机业务

不感知。

SmartMigration可以满足多种应用场景的需求：

结合SmartVirtualization 特性实现存储系统升级换代

结合异构虚拟化技术，现有老旧设备上lun的数据迁移到华为新阵列上，提升业务的性能和数据的可靠性；老旧设备可以是华为设备，也可以是其他存储厂

商的设备；

调整业务性能

根据用户业务的不同需求，可以通过SmartMigration来提升或降低业务性能。

SmartMigration既可以是在存储系统内性能不同的LUN之间进行迁移，也可以是

在性能配置不同的两套存储系统之间进行迁移。

1）存储系统内部的业务迁移

当业务所在LUN的性能配置较低时，可以将业务迁移到存储系统内更高性能的LUN上，从而提升业务性能。例如，当用户对业务的快速读写能

力要求较高时，则可以将业务从低速存储介质上创建的LUN迁移到高速存

储介质上创建的LUN，从而提升业务的读写性能。反之，当业务性能的优先

级变低时，可以将业务迁移到存储系统内较低性能的LUN上，将高性能LUN

对应的存储资源释放出来，供给其他业务使用，从而达到优化存储系统服务

能力的效果。

(2015-05-14) 第15页, 共39页

2）存储系统之间的业务迁移

当现有存储系统的性能已经不能满足业务需求时，可以将业务迁移到性能更高的存储系统上，从而提高业务的整体性能。反之，当现有存储系统的

业务性能需求降低时，可以将业务迁移到性能较低的存储系统上。例如，将

长期不使用的冷数据所在的LUN迁移到外部的低端存储系统上，既能够降

低运营成本，也不会影响主机业务。

调整业务可靠性

通过SmartMigration调整业务的可靠性主要适用于同一套存储系统内部的资源调整，主要包括以下两个方面：

1）当业务所在LUN的RAID级别可靠性较低时，可以通过SmartMigration

特性将业务迁移到RAID级别可靠性更高的LUN上，从而提升业务的可靠

性。反之，当业务的可靠性需求不高时，则可以将业务迁移到可靠性相对较

低的LUN上。

2）在同样的RAID级别条件下，不同存储介质的可靠性也是存在差别的。

例如，相同的RAID级别条件下，SAS硬盘的可靠性会比NL-SAS硬盘更高，

更适合于运行较重要的业务。

?调整LUN 的类型，满足业务运行中的需求变更

?在主机不感知的情况下，实现thin lun与thick lun的转换，客户灵

活变更配置。

(2015-05-14) 第16页, 共39页

7 高密度的硬盘框

OceanStor存储高密磁盘框采用双通道冗余架构设计，对上双级联板冗余，每个级联板有4个6G SAS口（每口4phy），物理形式是MiniSAS HD接口，

单通道能提供4GB带宽。可继续向下级联。

图八高密框拓扑

(2015-05-14) 第17页, 共39页

(2015-05-14)

第18页, 共39页

图九 级联板面板

下图说明连接组网：

图十 上视组网图

(2015-05-14) 第19页, 共39页

图十一 前/后视组网图

每个控制器上每通道至少配置1张6G SAS 卡或1张12G SAS 卡；

6G SAS 卡每张2端口（MiniSAS 口），需要使用MiniSAS 转MiniSAS HD

线缆连接高密磁盘框，此2口平行接到高密框的HOST1和HOST2端口上；

HOST3和4作为EXP 口平行连接下一个高密框。

12G SAS 接口卡每张4个12G SAS 端口（MiniSAS-HD ），需要使用

MiniSAS-HD

线缆；4口分成2个通道：（0，1）和（2，3），（0，1）平行接

到高密框的HOST1和HOST2端口上，HOST3和4同上。

高密度的架构设计

高密磁盘框充分利用了框的4U 高度，把硬盘从原来的横插模式改为直插（插

秧）抽屉式，并且压缩了级联板的尺寸，比常规磁盘框的级联板缩小一半以上。

尽量腾出空间给磁盘。

图十二高密框硬盘排列

散热设计

密度提升面临的挑战是散热问题，75块硬盘散发的热量是需要全力排散的，否则很快将导致高温，烤坏设备。

通过精细的风道设计、优化的风扇调速策略以及加强的风扇使用，最终解决了高密磁盘的散热问题，同时也满足噪声要求和功耗占用：

图十三散热

重量

高密框的另一个挑战是重量，因为密度高，所以满配的框比常规磁盘框重。

不能将常规机柜装满，推荐配置如下：

(2015-05-14) 第20页, 共39页