数据中心超融合基础架构（HCI）深度调研
数据中心超融合基础架构（HCI）深度调研https://picx.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=172ae18b古斟布衣
华中科技大学 工学硕士
关注他
4 人赞同了该文章
超融合架构是软件定义数据中心的一种表现形式，是基于标准通用的硬件平台，通过软件定义实现计算、存储、网络融合，实现以虚拟化为中心的软件定义数据中心的软硬一体化IT基础架构。
[*]1. 概述
[*]2. 发展现状
[*]3. 主流超融合厂商介绍
[*]3.1 Nutanix（路坦力）
[*]3.2 VMware
[*]3.3 华为
[*]3.4 H3C（新华三）
[*]3.5 SmartX(北京志凌海纳科技)
[*]4. 超融合技术总结
[*]4.1 关键技术
[*]4.2 主流超融合厂商技术对比
1. 概述传统数据中心主要由服务器、网络设备、存储设备以及附属设备，而这些设备通常由多家供应商提供。因此，随着业务应用程序及其产生的数据的增长，设备种类和数量也随之增加，从而导致运维的成本和设备部署的周期也迅速增加，同时也增加了资源调度的难度，降低了系统资源的利用效率。
https://pic4.zhimg.com/80/v2-6e36b292d2e5efa6d492ccbbb75ed84b_720w.webp
为了解决这一问题，由同一厂商或者若干家厂商联合提供的融合系统开始出现，将服务器、网络设备和存储设备等集成在同一个机柜或者机架上销售给客户，从而降低部署难度，提升资源利用效率。但是融合系统只是服务器、存储和网络设备的简单“粘合”，一体化交付，尽可能“开箱即用”。虽然理论上只要三者搭配得当，各种类型的应用都可以很好的支持。而在实际应用中，服务器和存储等计算资源还是独立管理、独立扩展，仍然无法摆脱传统存储价格高企，运维成本高，升级扩容困难等问题。
https://pic3.zhimg.com/80/v2-25101cbf0b34639f06cb1f638e30704a_720w.webp
超融合架构以软件定义存储为核心，使用大量标准的x86服务器组成集群，通过虚拟化计算（KVM，VMware，Hyper-v，Xen，容器等）和虚拟化网络（软件定义网络SDN）技术，把分布在每个节点上的服务器本地资源天然（native）融合起来，形成统一资源池，通过统一管理界面向外暴露标准的计算、存储、网络能力，实现模块化的无缝横向扩展（Scale-Out）。集群中各节点间没有明确的计算和存储的分工，不存在单点故障，可以根据需要对计算、存储、网络按需进行横向的动态扩展。运行在每个服务器节点上的单一的、高度虚拟化的超融合软件栈，通过网络和分布式算法同时为CPU、内存、硬盘、网络等物理资源提供抽象化功能，从而建立起一个同质化的、具有高度可用性和弹性的存储及计算资源池。
https://pic2.zhimg.com/80/v2-f05413a8723aeb75fab766b5009382c9_720w.webp
相对于传统IT架构，超融合架构具有如下优势：
[*]单一支持：计算、存储和网络融合，统一部署，单一厂商提供所有软硬件（计算、存储和虚拟化等）支持；
[*]部署简便：无需划分Zone、RAID等，从上机架开始最快30分钟内即可交付使用；
[*]降低TOC（总拥有成本）：资源池化，无需一次性大规模采购，按需采购，水平扩容；
[*]重复利用：充分利用旧设备，保护现有投资，延伸到云计算架构；
[*]减小依赖：采用标准服务器，不依赖具体软硬件厂商；
[*]简化管理：单一界面统一管理计算、存储、虚拟化等资源，运维管理简单化；
[*]弹性扩展：分布式架构，线性扩展，无节点数限制，无单点故障，内置本地备份、同城和异地容灾能力；
[*]高效利用：多节点并发访问，本地访问SSD加速，数据自动负载均衡，快速镜像和恢复。
超融合架构适用于必须运行在物理硬件环境中的应用之外的所有场景，但是目前主要适用于如下场景：
[*]服务器虚拟化场景：由于超融合架构可以将计算、存储和网络资源虚拟化后在图形界面中进行统一管理，因此能够简化虚拟化的配置管理；
[*]虚拟桌面（VDI）：超融合架构能够解决启动风暴问题，因此产生之初最主要的部署场景就是VDI；
[*]容灾系统：容灾系统需要快速，简便，适应性强，扩展方便，而超融合的快速部署、按需配置和扩容等特性，能让容灾变的异常简单，因此在容灾系统的生命力会越来越强大；
[*]ROBO（远程和分支办公）：超融合架构节约空间，性能出色，扩容简便，维修方便，适应性强，可以在分支机构IT支持不够的条件下提供高性能，高可靠性，易维护，易管理的IT系统，提高ROBO环境的办公效率；
[*]私有云：私有云对于IAAS层的要求是简单，高效，弹性，敏捷，强健，虚拟化层适应性强，兼容性好；而这些特性都是超融合最擅长，与生俱来的，因此随着超融合的蓬勃发展，对比传统架构这些优势愈发显著。
2. 发展现状2012年Steve Chambers和Forrester咨询首次提出超融合基础架构概念以来，其技术已经从最初简单的以替换传统存储厂商集中式存储为目的，到如今的 从Iaas层（Infrastructure as a Service）融合向Paas层（Platform as a Service）技术，并尝试结合容器技术，提供更多样的服务，技术日趋成熟。
https://pic1.zhimg.com/80/v2-5e35b538fe8222c9e6e1dee398fed634_720w.webp
2014年之前是HCI概念提出、市场试水的阶段，如今Gartner HCI魔力象限中的绝大多数超融合厂商，如Nutanix、Dell EMC、VMware、华为、思科等均是在该阶段开启了HCI之路。2015~2016年，随着云计算的爆棚，HCI被视为最具潜力的数据中心基础架构之一，发展驶入快车道，2016年甚至被称之为“超融合元年”。国际数据公司（IDC）认为，虽然超融合系统在整个融合系统市场中所占的比例还不够大，但全球的HCI市场在2021年之前会有平均28.9%的年复合增长，而整个市场营收会达到 83亿美元的规模，因此高速增长的势头有望迅速抹平差距。
https://pic4.zhimg.com/80/v2-14932624fcbd132af73dd2c50fa932a7_720w.webp
Gartner预计，超融合系统年复合增长率为48%左右，而中国将超越这一数字，并在2020年成为数据中心的主流；2021年，60％以上的超融合基础设施（HCI）采用将偏向虚拟桌面基础架构（VDI）和远程办公/分支机构（ROBO）工作负载；软件定义网络（SDN）将在大多数HCI产品中可用，然而最终用户采用率仍将低于10％。超融合架构的优势和客户价值已经勿容置疑，全球和国内市场都已经初步形成，HCI是未来5-10年新一代数据中心基础架构的首选方案。在数据中心领域，超融合概念异常火爆，Nutanix和SimpliVity等初创公司备受追捧，并且随着全球超融合市场呈现快速增长的势头，业内无论是服务器巨头、存储巨头等均加入了这一战局。2018年，Gartner最新发布的超融合基础设施魔力四象限中，国内厂商仅有华为迈入挑战者象限，但国际市场仍以Nutanix、Dell EMC、VMware和收购了Simplivity的HPE（惠普企业）为首。
https://pic1.zhimg.com/80/v2-1cf7f9564b19f09e954c14e2affcf92c_720w.webp
国内超融合市场主要分为如下几个阵营：
[*]传统服务器厂商，例如浪潮、联想、DELL EMC、HPE；
[*]相关领域转行的厂商，例如通信领域的华为、网络设备领域的H3C、安全领域的深信服等；
[*]超融合初创厂商，例如SmartX、达沃时代、大道云行、青云、神州云科、云宏等。
其中:
[*]Nutanix主要与联想合作，采用X3650服务器，提供基于Nutanix的2U产品；
[*]Simplivity采用Cisco或Dell的定制服务器，但是被HPE收购后，实际上相关业务已经并入H3C。
根据分布式文件系统，超融合技术方案划分为如下3种：
[*]分布式文件系统自主开发，支持多种虚拟化架构（VMware、KVM、Hyper-v）；代表产品是Nutanix，其分布式文件系统分别是NDFS；此外还有华为、SmartX、达沃时代、大道云行、青云等；
[*]分布式文件系统自主开发，仅支持自家虚拟化平台，无法独立部署；代表产品是EMC的VxRail，采用VMware + vSAN；
[*]分布式文件系统基于开源软件开发，仅支持KVM虚拟化；代表产品是深信服，其分布式文件系统是基于GlusterFS的aSAN，此外还有H3C基于Ceph的UIS。
最近几年，容器已经成为数据中心新工作方式的标志。容器作为一种轻量级、可移植、自包含的软件打包技术，使应用程序可以在几乎任何地方以相同的方式运行。开发人员在自己笔记本上创建并测试好的容器，无需任何修改就能够在生产系统的虚拟机、物理服务器或公有云主机上运行。
https://pic1.zhimg.com/80/v2-1112935063528a63a464880211378014_720w.webp
容器作为继大数据和云计算之后又一炙手可热的技术，而且未来相当一段时间内都会非常流行。因此许多公司，包括Google、SmartX等，都在研发基于容器的超融合解决方案，即在同一个物理服务器的虚拟化平台上运行虚拟机（VM）和容器，共享分布式存储和软件定义网络，并使用统一的界面进行管理，从而更好的满足用户的需要。
https://pic4.zhimg.com/80/v2-8f50e08a43a8c26ccede60d91e208553_720w.webp
3. 主流超融合厂商介绍目前主流超融合厂商包括Nutanix、VMware、华为、H3C、SmartX等，下面分别进行介绍：3.1 Nutanix（路坦力）Nutanix成立于2009年，是一家提供超融合解决方案的设备厂商，多次被IDC和Gartner评为超融合领域的领导者，具有深厚的技术沉淀，拥有美国专利与商标局正式批准的分布式软件架构专利。Nutanix软件已经部署在全球六千多家企业，功能稳定完善，超融合生态链中具有无可比拟的优势。但是，随着HCI市场的扩张和更加激烈的竞争，其业绩仍然出现了下滑。为了实现从超融合技术方案向云计算方案公司的转型，Nutanix从2017年5月开始与IBM和Google合作，提供基于IBM Power Systems的数据中心软硬件解决方案和横跨私有云、公有云（Google Cloud）和边缘云(Edge Cloud and IoT)的多云解决方案（Nutanix Calm）。此外，Nutanix还于2018年3月收购了业内领先的云解决方案提供商Minjar，推出Nutanix Xi Cloud Services，通过Prism集中化数据中心基础设施管理软件，将数据中心服务扩展到云，避免将内部部署服务扩展到云的复杂性。Nutanix的主要产品是分布式资源管理平台Prism和分布式多资源管理器Acropolis，以及基于这两个整合产品家族的NX系列软硬件一体机。其中，Prism主要用于提供一键式的基础架构管理平台，方便用户统一管理各个超融合集群；而Acropolis则用于提供超融合的核心组件，分布式文件系统（DSF）和用于封装虚拟机、存储、容器等接口的应用接口(AMF)。Prism和Acropolis服务需要运行在每个物理机虚拟化平台上的控制虚拟机（CVM）上，用以提供对外接口。
https://pic1.zhimg.com/80/v2-1ff5d8af5a57c7f093b29f34f74c4b7c_720w.webp
Prism提供HTML5 UI, REST API, CLI, PowerShell CMDlets等多种接口，用于管理如下功能：
[*]运行环境和硬件设备的健康和状态信息，包括存储的容量、IOPS、延迟，内存和CPU的利用率，虚拟机的数目等；
[*]虚拟机和容器的管理，包括创建、运行、更新、监控、删除等；
[*]服务器、磁盘和网络的管理、监控和健康检查以及集群扩展等；
[*]容灾、公有云对接、快照、恢复等数据保护功能。
Acropolis是Nutanix方案的核心，其核心是使用分布式文件系统DSF和应用接口层（AMF）实现存储和计算能力的软件定义，从而将易耗资源虚拟机、容器、存储等与用户应用解耦，提供一致性的操作平台，从而使得用户应用可以在虚拟机管理器、平台、容器和各种云之间无缝迁移。分布式文件系统DSF是从Nutanix原来的分布式文件系统HDFS扩展而来，是Nutanix赖以生存的核心组件，通过使用Intel VT-d技术，将管理SSD和HDD的SCSI控制器被直接传递到运行着DSF控制模块的控制虚拟机（CVM），从而形成统一的资源池，进而提供给用户虚拟机、容器等。
https://pic4.zhimg.com/80/v2-96476d18d852949aacdf03589cf8fd43_720w.webp
分布式文件系统DSF具有如下特点：
[*]支持多种虚拟机管理器：
[*]Acropolis Hypervisor：集群最少支持3个节点，最多节点数没有限制，每次最少扩展1个节点；每个节点和集群的VM数量取决于物理内存；每个VM的最大内存是2TB，每个VM的最大CPU数为物理CPU数目；
[*]VMwrae vSphere：集群最少3个节点，最多64个节点，每次最少扩展2个节点；每个节点最多1024个VM；每个集群最多8000个VM，每个VM的最大内存是6128GB，每个VM最多128个虚拟CPU；此时可支持VMware VAAI接口，从而将某些磁盘操作从CPU转移到存储设备执行，减轻CPU负担；
[*]Hyper-V：集群最少支持3个节点，最多64个节点，每次最少扩展1个节点；每个节点最多1024个VM；每个VM的最大内存是1TB，每个VM最多64个虚拟CPU；
[*]Citrix XenServer：2017年开始支持，无进一步信息。
[*]支持多种文件系统访问接口，可动态创建新的适配器接口：
https://pic3.zhimg.com/80/v2-7c9a0a1d830f3820a804ae1a6404de32_720w.webp
3.冷热数据分层，本地SSD优先，自动磁盘均衡：
https://pic2.zhimg.com/80/v2-9982aced7c102db75b7ffd2fbddc1799_720w.webp
本地SSD利用率过高时，最近最少使用的数据会被迁移到集群中其他节点的SSD，从而降低本地SSD的空间，保证本地SSD写入优先，使得本地虚拟机尽可能不需要跨节点访问存储数据；而只有当整个集群的SSD利用率达到阀值时，才会将每个节点的SSD中的数据按照冷热程度顺序迁移到该节点的HDD硬盘中。
[*]读写缓存独立，提高IO性能，同时兼顾消重功能：
https://pic4.zhimg.com/80/v2-f5ead65880abdc2301a8fce122686d73_720w.webp
[*]数据写入时，除非是顺序IO访问，否则必须写入本地SSD的写缓冲opLog，然后同步复制到DSF自动选择的同一个集群的某个节点上，并在opLog利用率达到阈值时写入到扩展存储，即本地HDD或者集群内部其他服务器的SSD和HDD；同时，所有数据写入都会打上标记，从而在数据进入读缓冲时进行消重。
https://pic2.zhimg.com/80/v2-0b695ca99064d9743c58472ba55bbeb1_720w.webp
[*]数据读取时，优先检查写缓冲opLog中是否存在需要的数据，不存在则从横跨内存和SSD的Unified Cache读缓冲查找数据；读缓冲中不存在时，则进一步从扩展存储中加载数据，并存放到读缓冲的Single-touch池中；Single-touch池中的数据会根据LRU算法逐步刷到读缓冲Multi-touch池的内存段和SSD段，实现数据的进一步分层。
!](https://upload-images.jianshu.io/upload_images/5574441-97769d744ed59cba.JPG?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
[*]基于Apache Cassandra深度修改的Cassandra组件，使用环状分布式数据库保存元数据和其他重要数据和Paxos算法保证数据的一致性；引入RF（复制因子）和校验和基址，使得数据写入opLog时同步复制和更新到其他节点的opLog，并发送应答给写入节点，最后在满足赋值因子（复制份数）的情况下异步推送到扩展存储中，从而提供足够的数据的冗余度和可用性：
https://pic2.zhimg.com/80/v2-6f400cc930a05becf3fd64ce8b0c81a5_720w.webp
此外，为了减少集群内节点数量变化时元数据重映射的数据量，一致性散列算法被引入，以确保新节点被均匀的插入到环状分布式数据库的老节点之间，从而使得需要更新的数据量最少；
https://pic3.zhimg.com/80/v2-6bc34bfaf22d1f65de04618a730510de_720w.webp
[*]通过Cassandra和基于Apache Zookeeper组件，实现节点、模块和机架的数据、元数据、配置数据等的感知，确保某个VM、节点、模块、机架故障时，系统仍然能够从副本中恢复；
[*]提供纠删码、在线压缩、事后压缩、弹性消重等多种存储优化技术并协同工作，减少配置复杂度，提高存储利用效率；
[*]采用基于vDisk虚拟映射的写时重定向算法（redirect-on-write），提供快照克隆功能和基于快照克隆功能的容灾和复制功能，从而实现快速备份和恢复：
https://pic4.zhimg.com/80/v2-fc1c4f44be39f6f95b92bd4515d24197_720w.webp
[*]提供云链接功能和跨物理站点扩展能力，使得计算和存储集群跨越私有云、公有云（亚马逊AWS等）和不同地点的多个物理站点，使用同样的组件创建集群并加入管理，从而实现对本地集群原生容灾和复制功能的扩展；其中存储可以使用亚马逊S3(AWS)或微软BlobStore(Azure)提供的云磁盘；
https://pic4.zhimg.com/80/v2-434ac53b8d97b3d7205e4e0423c11e7f_720w.webp
https://pic3.zhimg.com/80/v2-1ab453939968ffaec13f237331414796_720w.webp
[*]通过网络和数据访问本地化，虚拟机和文件的影子克隆和读取时迁移能力，优先使用物理机本地网络和存储，降低网络和存储压力。
Acropolis包含一个基于CentOS KVM开发的Acropolis Hypervisor，增加在线迁移、高可靠性、iSCSI重定向、容器调度等功能，通过PCI直通方式访问磁盘，通过Linux内核支持的Open vSwitch（OVS）功能提供虚拟化网络功能。其中高可靠性功能通过预留主机和每个主机上预留VM资源两种方式实现，分别适用于同构主机和异构主机，可在某个VM故障时迅速切换到预留主机或某个主机的预留VM上。此外，Nutanix方案还集成了OpenStack，用于提供业界标准构建和管理接口（Swift对象存储等），包括：
[*]OpenStack控制器(OSC)： 现存或新建的虚拟机，用于提供OpenStack界面；
[*]Acropolis OpenStack驱动：用于将OpenStack控制器的OpenStack RPC转换成Acropolis API调用；
[*]Acropolis OpenStack虚拟机(OVM)：通常装有Acropolis OpenStack驱动的虚拟机，也可以包含OpenStack控制器，通常作为一个辅助类型的虚拟机存在。
https://pic2.zhimg.com/80/v2-306ba0f3c178fc4b083b5c37f60c65b9_720w.webp
最后，Nutanix方案支持全闪存存储方案以提高核心应用效率，并可以外接传统SAN存储网络以满足更多需要。3.2 VMwareVMware成立于1998年，是一家提供云计算和硬件虚拟化的软件和服务的著名软件公司，并号称是第一个在x86架构虚拟上成功商业化的公司。VMware与2004年被EMC收购，并于2016年通过Dell收购EMC成为Dell的子公司。VMware最初的产品是桌面虚拟化软件VMware Workstation和企业级服务器虚拟机管理软件VMware ESXi。2009年，VMware开始开发开源多云Paas平台Cloud Foundry的原型B29项目，随后通过收购吸收SpringSource公司为亚马逊EC2共有云平台开发的Paas项目，与2011年发布Cloud Foundryde，吸收在2008年通过与思科合作开发分布式虚拟软件交换机，并与2011年4月发布Cloud Foundry，从而进入云服务领域。目前，Cloud Foundry由Cloud Foundry基金会管理，可以部署到多家基础设施提供商，包括VMware vSphere，OpenStack，Amazon Web Services，Microsoft Azure，Google Cloud Platform，阿里巴巴 Alicloud等。截至2018年4月，认证提供商名单包括Atos Cloud Foundry、华为FusionStage、IBM Cloud Foundry、Pivotal Cloud Foundry、SAP云平台、Swisscom应用云等。2013年，VMware发布提供IaaS服务的公有云vCloud Hybrid Service(现在的vCloud Air)，并于2017年卖给了法国云提供商OVH。2016年，由于戴尔收购EMC，VMware宣布重组，Workstation和Fusion背后的整个开发团队被解散，并随后发布了VMware Workstation 12.5和Fusion 8.5版本以支持Windows10和Windows Server 2016。目前，VMware的超融合产品包括全包式超融合设备VxRail、VxRack SDDC（软件定义数据中心）和以 vSAN ReadyNode形式提供的超过 150种经过认证的平台，其核心为紧密集成的服务器虚拟化平台vSphere（ESXi为其中的Hypervisor组件）、集成在vSphere中的闪存优化型高性能超融合存储方案vSAN和适用于vSphere环境的统一且可延展的管理解决方案vCenter Server。此外，VMware还提供专为混合云而构建的云管理平台VMware vRealize Suite、集成软件定义数据中心（SDDC）系统上部署和运行私有云的解决方案VMware Cloud Foundation、虚拟桌面基础架构（VDI）产品VMware Horizon View、灾难恢复解决方案VMware Site Recovery Manager（SRM）以及网络虚拟化产品VMware NSX等一些列云管理软件。
https://pic3.zhimg.com/80/v2-5f02a4c203ddf6cbeca8234bc8b10496_720w.webp
VMware超融合软件体系的核心是集成VMware vSAN的VMware vSphere服务器虚拟化平台，具有以下特征：
https://pic3.zhimg.com/80/v2-f3e3088adfdd0c8a50f307dfaadc765e_720w.webp
[*]仅能用于vSphere，集群最少3个节点，最多64个节点，每次最少扩展2个节点；每个节点的最多1024个VM；每个集群最多8000个VM，每个VM的最大内存是6128GB，每个VM最多128个虚拟CPU；
[*]与vSphere中的虚拟机管理器ESXi紧密集成，降低计算能力开销；
https://pic2.zhimg.com/80/v2-d42c01d1317bb0d5ffaeccc0972dadc9_720w.webp
[*]支持混合vSAN集群和全闪存集群，以适应不同的需求；
https://pic3.zhimg.com/80/v2-5b9a67d5988d727f4858e4b40b71567a_720w.webp
[*]采用支持弹性、无中断扩展的分布式体系结构，可以增加新节点以横向扩展，也可以增加硬盘驱动器以纵向扩展；
[*]支持重复数据消除、压缩和纠删码 (RAID 5/6) 、共享逻辑卷并发访问等高级存储功能，使存储利用率提高多达10 倍，同时显著降低存储容量和成本；
[*]通过vSphere Web Client管理，并与VMware 产品体系集成，包括 vMotion、High Availability (HA)和Fault Tolerance (FT) 等主要功能特性和其他VMware产品（VMware Site Recovery Manager、VMware vRealize Suite等）；
[*]集成业界首个具有静态数据加密功能的原生HCI安全解决方案，支持客户选择标准驱动器（SSD 和 HDD）、双因素身份验证（SecurID 和 CAC）和所有符合 KMIP 标准的密钥管理器（如 CloudLink、Hytrust、SafeNet、Thales 和Vormetric），从而避免因为选择自加密驱动器 (SED) 而导致选项有限并产生额外费用；
[*]支持虚拟机存储和存储服务级别（如容量、性能、可用性）根据存储策略自动调整，以实现存储资源负载均衡；
[*]采用分布式RAID和缓存镜像，内置容错和高级可用性功能，无缝支持vSphere可用性功能（vSphere Fault Tolerance、vSphere High Availability等）；
[*]提供VAAI（vStorage APIs for Array Integration）功能，可以将某些磁盘操作从CPU转移到存储设备执行，减轻CPU负担：
[*]Copy Offload（存储端离线拷贝），适用于克隆或从模板创建虚拟机等情况；
https://pic1.zhimg.com/80/v2-aa9c3ffb615f54da7a640194ef2e8914_720w.webp
[*]Block Zeroing（块清零），创建虚拟机时虚拟磁盘清零时使用可以保证后续运行中的性能下降；
https://pic2.zhimg.com/80/v2-1280c957ac55236b47d19772083eed85_720w.webp
[*]Atomic Test and Set(原子测试锁定机制)，硬件辅助的锁定机制，用于并发访问时针对整个逻辑卷中所有磁盘的锁定释放机制，通过存储设备离线锁定逻辑卷中某个磁盘来提高并发效率：
https://pic4.zhimg.com/80/v2-bc31d4e44cdb47f56ab4281ee8385c63_720w.webp
[*]UNMAP/Reclaim：适用于删除或释放虚拟机时磁盘空间的释放:
https://pic3.zhimg.com/80/v2-7ee251c8c7ec39f6a0fdda73b18f6256_720w.webp
[*]支持跨物理站点扩展、双节点直连等高级功能；
https://pic4.zhimg.com/80/v2-f3d7c14019913ced269400c4dce96cf7_720w.webp
https://pic4.zhimg.com/80/v2-84b45f87b121f5437b992d7f640bcbff_720w.webp
[*]vCenter Server与vSphere紧密结合，能够聚合多台 ESXi 主机的物理资源，集中呈现灵活多变的资源，供系统管理员置备虚拟环境中的虚拟机。vCenter Server 组件包括用户访问控件、核心服务、分布式服务、插件以及各种界面；
https://pic4.zhimg.com/80/v2-025aacc5f789944c70de18a61d8db713_720w.webp
[*]vCenter Server提供vSphere Client、vSphere Web Client、vSphere命令行或终端服务（Windows 终端服务）等多种访问接口。
3.3 华为华为作为传统的通信设备制造商，于2012年9月华为云计算大会上发布了FusionCube 9000超融合设备，正式进军超融合市场，随后在2014年6月首次进入Gartner超融合魔力四象限，并在2017年成为首家进入挤入挑战者象限的中国企业。目前，华为的超融合产品包括：
[*]适用于适用于虚拟化、桌面云、大容量数据库场景的FusionCube 2000；
[*]适用于虚拟化和桌面云场景的FusionCube 6000；
[*]适用于数据库或虚拟化场景的FusionCube 9000；
[*]经过VMware认证的全新一代服务器FusionCube vSAN Ready Nodes；
[*]自带FusionSphere云操作系统的FusionCube超融合方案。
华为FusionCube超融合基础设施以计算/存储/网络融合、预集成、高性能、高可靠、高安全、业务自动化快捷部署、统一运维管理、资源智能弹性伸缩为设计理念，是华为IT产品线的旗舰产品。其总体架构如下所示：
https://pic2.zhimg.com/80/v2-f46a9b2e7b1672185e36461aeba5d181_720w.webp
华为FusionCube方案的核心是FusionCube Storage分布式存储平台，通过合理有序组织刀片服务器的本地硬盘，提供高性能高可靠的块存储业务，其架构如下所示：
https://pic3.zhimg.com/80/v2-ab0f127df31353ea284059d0cfb25e6a_720w.webp
[*]管理模块（Manager）：提供告警、监控、日志、配置等操作维护功能，通常工作在主备模式下；
[*]代理进程(Agent)：各节点上与管理模块通信的代理，可以各节点监控与告警信息手机或节点软件升级；
[*]Zookeeper：基于Apache ZooKeeper，用于为MDC集群提供选主仲裁，需要保持一半以上的活跃度；3节点起步，奇数个部署；
[*]元数据控制(MDC)：控制数据分布规则、数据重建规则、集群状态等；3节点起步，最多96个；每个MDC最多管理2个资源池；每个资源池对应1个归属MDC，故障时则托管到其他MDC；主MDC负责监控其他MDC；MDC负责
[*]虚拟块存储管理组件（VBS）：通过与对应资源池的OSD之间的点对点通信，并发访问硬盘和SSD，执行卷元数据管理，从而提供包含CHAP身份验证的SCSI或iSCSI接口服务；每个节点对应1个或多个VBS进程，并在启动时与主MDC连接并协商出主VBS;
[*]KV（Key-Value）设备服务（OSD）：执行具体的I/O 操作；每块磁盘对应1个或多个OSD进程以提升IO效率。
FusionCube Storage具有如下特点：
[*]支持业界主流的虚拟化平台VMware ESXi、Xen、KVM以及华为基于Xen开发的FusionSphere等，集群最少3个节点，最多288个节点；使用VMware ESXi作为虚拟化平台时最多64个节点，但是可以支持VMware VAAI接口，从而将某些磁盘操作从CPU转移到存储设备执行，减轻CPU负担；
[*]支持每个集群最多128个资源池，以满足不同性能存储介质和故障隔离要求；所有资源池共享同一套Zookeeper和MDC；2个副本时每个资源池最多支持96个硬盘，3个副本时2048个硬盘，但是类型和容量必须相同；每个资源池中各节点的硬盘数相差不得超过2个，且硬盘差额之和不得超过最大硬盘数的33%；
[*]同时提供块存储（SCSI/iSCSI）、对象存储(亚马逊S3/OpenStack Swift)和文件存储（NFS/CIFS等）服务以及针对不同接口的增强服务；
https://pic4.zhimg.com/80/v2-049c89f5f732112a27e53cc61bac3703_720w.webp
[*]基于ROW（Redirect-On-Write）机制的快照技术，减少对初始卷的影响：
https://pic3.zhimg.com/80/v2-d838182c4355a88bab63dbe7b9e8131e_720w.webp
[*]基于同样被Nutanix采用的DHT路由（分布式一致性Hash）技术实现自动精简配置功能（SmartThin/HyperThin等），即初始化时将硬盘划分为1M字节的分区，并在内存创建与物理硬盘的映射关系尽可能将数据均分到所有节点中，并减少新节点增加时需要更新的数据量，从而在此基础上实现存储空间的按需分配和动态映射，提供超越实际物理存储的虚拟存储资源，显著提高存储空间利用率;
https://pic4.zhimg.com/80/v2-9c8cb85a9727aeefc71c62d82eff4b67_720w.webp
[*]基于双令牌桶算法（C桶存放令牌，E同存放余额）的QoS功能，用于对I/O进行精细化控制并提供burst功能（即允许短期内从超出IOPS配置份额的访问）：
https://pic1.zhimg.com/80/v2-0e528016d5166db7186c4d6a654b08b8_720w.webp
[*]基于临时节点的Hint可用性增强，通过将IO临时写入快速扩开辟的hint节点后通过过后台延时任务写入原目的节点的方式，在1~2分钟内快速解决节点亚健康状态：
https://pic1.zhimg.com/80/v2-339ce7361ffd3362e734fdb4124ff794_720w.webp
[*]通过NFS多路径、CIFS多通道、NFS协议调优等技术，提高NFS、CIFS等文件系统接口效率；
[*]兼容主流大数据平台，包括华为FusionInsight、Cloudera CDH、Hadoop等大数据平台的对接；
https://pic4.zhimg.com/80/v2-efe1cc0e9d85ac0b9e4557ffa6de1b3b_720w.webp
[*]通过为OpenStack开源云平台各存储模块实现的Provider，提供与主流发布版本和商业版本的对接能力；
[*]通过对SNMP（简单网络管理协议）和SMI-S（存储管理计划 - 规范）标准协议的支持，实现对主流IT运维管理平台的支持；
[*]数据分层，多级cache，读写分离，本地优先，提高性能：
https://pic2.zhimg.com/80/v2-3f69b984a992cd2c81e61ad5adf0e025_720w.webp
[*]写入时，首先以同步方式写入到本节点SSD cache以及数据副本所在其他节点的SSD Cache，全部写成功后才返回成功；随后，SSD Cache 中的数据会异步刷入到硬盘；然后周期性或达到阈值后批量写入硬盘；
[*]读取时，优先从本地节点的cache中读取数据，故障时才会选择副本节点；选中节点后，首先检查内存读Cache中，存在时调整该数据到读Cache LRU队首并返回数据，否则检查SSD中的读Cache；存在时增加该数据的热点访问因子并返回，否则继续检查SSD中额写Cache；存在时增加该数据的热点访问因子并返回，同时在热点访问因子达到阈值后将数据缓存到SSD中的读Cache，失败则从硬盘读取数据，增加该数据的热点访问因子并返回，同时在热点访问因子达到阈值后将数据缓存到SSD中的读Cache。
[*]文件存储接口采用业界先进的动态子树技术，支持百万数量级的超大目录，访问响应与普通目录基本没有差别；其中，整个文件系统采用统一命名空间，需要根据所在节点将目录树划分为若干子树，并在子文件过多或子文件访问热度超过阈值时分裂；每个子树对应于1个MDC（元数据管理模块），而每个MDC可以管理多个子树；
https://pic1.zhimg.com/80/v2-73970e7c726661185148351742b5d51c_720w.webp
[*]通过数据条带化技术将写入的数据划分为N个固定大小的源数据分片（条带Strip），然后计算出M个冗余数据分片（条带Strip），从而组成一个N+M的数据分条（Stripe），然后按照数据保护级别选择不同的节点分散存放，从而实现数据的并行访问和故障恢复：
https://pic4.zhimg.com/80/v2-f0674c093fbd756882709c8b10a943e3_720w.webp
[*]支持大块或顺序访问IO直接落盘（HDD）技术，充分利用HDD顺序访问和SDD随机访问的优势，提高SD卡寿命和SD Cache命中率；
[*]通过SSD Cache读写空间动态调整技术，根据系统运行场景自动均衡读写Cache比例，最大程度上发挥SD Cache作用;
[*]提供设备、网络、业务和管理的全面安全解决方案，确保系统安全可靠：
https://pic1.zhimg.com/80/v2-277aa3b2db41b298749b2c7507393414_720w.webp
[*]支持存储和计算节点分离部署以及自动化部署，部署和维护更加灵活方便。
3.4 H3C（新华三）H3C最初与2003年由华为和美国老牌网络设备厂商3Com合资成立的一家网络设备制造厂商，历经多次股东变化，目前大股东包括华为、3COM、HP、紫光等，但是仍然占据中国企业网络设备市场龙头地位。惠普企业收购的Simplivity相关超融合产品也一并合入新华三。除了惠普企业转入的Simplivity超融合产品，H3C还面向IaaS（基础架构即服务）推出了基于OpenStack和KVM的全基础架构软件定义超融合解决方案H3C UIS（统一基础架构系统），包含UIS Manager统一管理矩阵、UIS8000 刀片式超融合设备、UIS Cell 机架式超融合设备等，是最早推出超融合解决方案的中国企业，曾将在超融合市场连续两年中占据致中国第一，世界第三。
https://pic4.zhimg.com/80/v2-212d354e85cb6d695bd9b6216496a38f_720w.webp
UIS基于开源的KVM虚拟化，包括如下核心组件：
[*]UIS Manager（统一管理矩阵）：系统中服务器、交换机、KVM控制器等各个组件进行统一管理的一站式管理平台，提供业界最全的数据中心管理功能，将计算、存储、网络和安全这四个IT的资源进行深度的内核级融合和开发，具备资源一站式监控、设备自助上线、应用一键部署、资源弹性扩展、问题事件快速处理等特点：
https://pic4.zhimg.com/80/v2-6bece886252c4e67c1d69600f59633a7_720w.webp
[*]CAS（虚拟化平台）：基于Linux + KVM，从计算、存储、网络和安全等四个领域进行深度的内核级融合和开发，集成Intel DPDK等开源模块，与占据运营商领域半壁江山的亚信安全软件实现内核级对接，支持VMware vSPhere虚拟化内核即EXSi，并且可以与H3C的NFV软件集成；
https://pic3.zhimg.com/80/v2-ca20e228e83df41f6ac0eae07869fa52_720w.webp
[*]ONEStor(分布式存储) ：基于开源分布式文件系统Ceph深度修改，采用分布式管理集群，分布式哈希数据分布算法，分布式无状态客户端、分布式Cache等全分布式架构，提供线性扩展能力、多副本、数据强一致性等功能和块、文件和对象存储等多种接口：
https://pic2.zhimg.com/80/v2-03a7a54c47b5abaf649f198845d9baa5_720w.webp
3.5 SmartX(北京志凌海纳科技)SmartX成立于2013年，是中国领先的超融合产品与企业云解决方案创业公司，其技术团队主要由来自Nimbula、Microsoft、百度、HP、EMC、Redhat、Citrix，VMware等公司的优秀工程师组成，具有丰富的虚拟化、分布式系统研发和大规模运维经验，并在去年拿到了经纬创投领投的近亿B轮投资。SmartX的理念是通过软件重新定义数据中心，将类似 Google 等互联网公司数据中心的架构带给企业，并结合最新的硬件趋势，为企业构建更快速，更易扩展，更灵活的数据中心。SmartX落地的联通云数据有限公司沃云平台具有超过2000节点和24TB数据，是得到Granter认可的国内最大规模超融合案例。SmartX的产品是SmartX Halo超融合平台和SmartX Halo一体机。SmartX Halo超融合平台基于自主研发的ZBS分布式文件系统，提供分布式块存储、数据保护、网络管理等 IT 基础服务，实现“一站式”超融合虚拟化平台解决方案，具有以下特点：
https://pic1.zhimg.com/80/v2-81a741616a4b4a57cd83930fca6e6770_720w.webp
[*]100% 软件定义技术，实现数据中心的 IT 基础服务；
[*]无硬件平台绑定，支持不同厂商多种型号x86 服务器；
[*]无虚拟化软件锁定，生态友好，支持VMware vSphere、Citrix XenServer、Linux KVM 等Hypervisor
[*]按需同时水平扩展容量和性能，支持无停机扩容，扩容简单，对线上业务无影响；
[*]全分布式设计，数据冗余，智能数据恢复，确保业务可靠可用；
https://pic3.zhimg.com/80/v2-77a40dd8d76f183b0e3cee7eac01cda6_720w.webp
[*]支持NFS和iSCSI协议以及开放API，方便与OpenStack等各类云平台集成；
[*]内置虚拟化平台、虚拟网络管理和运维管理软件，轻松部署，简化管理，降低 IT 运维成本。
SmartX超融合平台的核心是ZBS分布式块存储文件系统，由安装在每个节点上的vSphere、XenServer、KVM 等Hypervisor上的SCVM（SmartX Controller Virtual Machine）通过网络组成分布式存储集群来提供虚拟的块设备存储池，具有如下特点：
[*]支持两级LRU队列模式的SSD智能缓存技术、IO写请求合并优化技术和核心业务专用的SSD存储池技术，提高IO访问速度和SSD使用效率；
https://pic2.zhimg.com/80/v2-eb87fe81ac0a089c52f6a61956c76049_720w.webp
[*]支持无停机扩容、硬盘热插拔、VM重连、VM热迁移等技术，确保业务连续性；
[*]支持弹性多副本、数据块校验、秒级无依赖快照和回滚、增量去冗备份工具、智能数据恢复、集群负载均衡、全局瘦供给（ThinProvision ）等技术，确保数据安全可靠；
[*]支持命令行/Web管理接口、RESTFUL/Python开放接口、集群监控和报警软件等，简化IT管理。
SmartX ZBS的基础架构如下所示：
https://pic4.zhimg.com/80/v2-44c0370f603624c57fc839e7b58abc7b_720w.webp
其中：
[*]ZooKeeper服务：基于Apache ZooKeeper，用于为Meta（元数据）服务提供选主仲裁，需要保持一半以上的活跃度；3节点起步，奇数个部署；
[*]Meta服务：管理元数据，包括维护数据块（8K字节）到具体物理服务器的映射，执行元数据同步、负载均衡、数据主动恢复、垃圾回收等集群层面的策略任务；每个节点1个；
[*]Chunk服务：管理本地存储资源（SATA和SSD等），充分挖掘SSD的特性来优化本地I/O性能；每个节点1个。
SCVM（SmartX Controller Virtual Machine）上需要安装一款融合虚拟计算、分布式存储及虚拟网络的基于Linux的操作系统SmartX OS，用于为用户构建完整的超融合虚拟化IT基础架构。4. 超融合技术总结4.1 关键技术除了VMware之类缺少详细资料的，主流超融合厂家通常都采用了如下关键技术：
[*]统一管理界面：通过统一界面管理系统中的计算、存储、网络等节点并提供在线升级、无缝水平扩容等功能；
[*]I/O MMU虚拟化技术：用于CVM直接访问硬盘控制器和网卡等，包括架构无关的的PCI单根I/O虚拟化技术（SR-IOV）和各个主流处理器架构的IOMMU技术（英特尔的VT-d、AMD的AMD-Vi、ARM的SMMU、Power的PAMU/IOMMU等）；其中SR-IOV技术已经广泛应用于各种架构的处理器和PCI设备，但是需要配合IOMMU技术使用；
https://pic3.zhimg.com/80/v2-b1be41bf5aaa0fc6b1b70347c7f1fab2_720w.webp
[*]分布式KV（Key-Value）存储技术：通过分布式一致性Hash（DHT路由）、HASH分片、CRUSH算法等为数据块生成key，然后映射到逻辑分区，进而将逻辑分区映射到不同存储节点上不同硬盘的真实分区：
https://pic3.zhimg.com/80/v2-9dec4ef62a4f4ffdff96560180858462_720w.webp
[*]Apache ZooKeeper：曾经属于Hadoop，目前为顶级独立项目，通过将数据以冗余方式分散存储在分层名称空间中来支持为大型分布式计算提供开源的高可用性分布式配置服务、同步服务和命名注服务，具有以下特性：
https://pic3.zhimg.com/80/v2-bff4a18d8771244b341ba5b6bd21f5ee_720w.webp
[*]高可靠：3节点起步，奇数个部署，自动选择主节点，单节点故障不影响系统运行；
[*]架构简洁：通过共享分层命名空间来协调整个系统；
[*]可伸缩：可通过增加节点提升系统性能；
[*]快速处理：读取操作多于写入的读取主导场景中事务处理尤其快速。
[*]自动多级缓冲/SSD加速技术：根据数据访问频率自动划分冷热数据，通过LRU算法将热门数据放入内存和SSD等高速缓冲，冷门数据后台刷新到HDD硬盘；
[*]写时重定向ROW（redirect-on-write）或写时复制COW（copy-on-write）算法，提供快照克隆功能和基于快照克隆功能的容灾和复制功能，从而实现快速备份和恢复；
[*]vSwitch技术：提供网络虚拟化功能，包括VMware VDS（vSphere Distributed Switch）和Linux内核支持的Open vSwitch（OVS）等技术。
4.2 主流超融合厂商技术对比
https://pic3.zhimg.com/80/v2-2ff56eaa9b007cd1741e0b800142b4a6_720w.webp
本文使用 WPL/s 发布 @GitHub，首发于本人简书专栏。嵌入式操作系统那些事儿 - 专题 - 简书www.jianshu.com/c/5b7d120b9b31https://pic3.zhimg.com/v2-43b5800b62f811e5e1fb78d53c2a2f9e_ipico.jpg
编辑于 2022-09-19 10:07
主流超融合基础架构产品与技术比较分析 活动总结字数 14175阅读 12578评论 3赞 16
活动背景：本期的超融合技术探讨，主要帮助大家了解国内超融合市场的现状和一些超融合基础架构产品之间的区别。
超融合目前还是一个新兴的市场，现在卖HCI（超融合）产品的厂商都是过去卖X86服务器的或是卖分布式存储软件的，因为HCI架构主要是以软件定义为基础，再结合X86硬件产品进行销售。国内主流的HCI产品厂商，除了传统的联想、华为、H3C等硬件厂商，甚至还有深信服这类安全厂商也在做HCI产品。其他新兴的厂商有达沃时代、大道云行、StorWind、青云HCI、SmartX等，这些厂商的市场份额虽然不大，但是每个产品却有自己不同于其他厂商的特点，可以适应多种不同的应用场景和环境。问题总结：本期活动对国内主要几家超融合产品的特点、优势和区别进行了对比分析，主要包括以下几个方面的讨论问题:
1、国内外超融合产品市场和具体应用情况
2、国内外超融合产品的主要区别
3、国内外超融合产品的一些技术问题讨论问题总结一、国内外超融合产品市场和具体应用情况1.国内外超融合产品主要有哪些？解答：HCI最初的领导者是Nutanix和VMware这些软件厂商，最早2011年就推出过超融合产品。在他之后有SimpliVity、Scale Computing、Pivot3等厂商之后，后来VMware也加入了这个领域。但是这些后来的厂商直到2013~2014年才推出首款产品。至于国内市场就要更晚一些，基本都是2014年后才逐渐推出自有产品。
目前主流产品主要有：
国外的有：Nutanix、VMwareEVO:RAIL、SimpliVity、Scale Computing等。
国内的有：SMARTX、深信服、达沃时代、大道云行、华为FusionStorage、青I等。
主要产品特点和现状，详细可以参考我分享的文档。
Nutanix和国内联想合作：2U产品，采用X3650服务器，封装Nutanix软件
Simplivity：采用Cisco或Dell的定制服务器，支持VMware；
VMware 的EVO：RAIL：提供纯软件部署，硬件由认证的合作伙伴提供，只支持VMware vSphere；EMC推出了vxrail，卖的比较火，最大支持64节点。
华为FusionCube：采用自家定制的x86刀片服务器，一体化产品。但是部分产品存储节点和计算节点是分开的，只能算是一体机。
青云QingCloud一体机：预集成了虚拟化平台、云平台管理软件、SDN网络和分布式存储。但是最近青云好像热衷于提供基于超融合架构的私有云服务，卖服务比较多，产品比较少。
SMARTX：主要是软件，配置管理一套系统，支持水平扩展，支持商用x86服务器。现在也有硬件产品，Halo一体机，整合了SMARTX的ZBS分布式存储管理软件，适合不同用户选择。
Zetta(中科云)：中科融合存储系统是一款自主研发、针对海量数据及高并发I/O应用而设计，集硬件平台、先进的分布式存储系统和智能管理功能于一体的存储产品。
深信服：而相比于国外厂商，深信服的超融合方案会更加全面。除了存储和计算资源，还特别是包含了网络资源，并且提供完整的2-7层网络服务。
超融合厂家阵营：
https://www.talkwithtrend.com/home/attachment/201705/02/4250_1493689074.pngQQ图片20170502093734.png
领导者领域：Nutanix排第一，毫不意外，SimpliVity与Nutanix极为接近排第二，然后Pivot3第三，这就让人意外了。
卓越表现者领域厂商有Atlantis, HyperGrid，EMC,VMware, Stratoscale，华为,HPE和思科，ScaleComputing是唯一的竞争者，而其它领域没有厂商。
Pivot3为什么得分这么高?部分归因于它的“高龄”——比Nutanix或SimpliVity建立要早，另外还有市场表现力好——该公司自称拥有超过1600位客户，还是最大的两个超融合数据存储集群之一的核心。
引用Forrester的结论就是“Pivot3是一个强大的参与厂商，尤其是当要求包含PB级数据存储时，它的空间有效数据保护还可以降低成本。”
观点：
1.Atlantis对比而言算是后起之秀，拥有较小的市场领域但因为其综合能力而处于强势地位。
2.Gridstore在微软专用化方面独一无二，目前仅支持Hyper-V和集成微软的环境，Gridstore解决方案的一个特别之处在于它的服务质量能力，允许多个类型虚拟机的定义，并确保最大和最小值输入/输出(I/O)的性能水平。
3.EMC对加入全行业转向软件定义基础设施环境处在有利位置。(报告中并不包括VxRack，只有VxRail。)
4.在厂商群中，Stratoscale是拥有更高级的工作负载与数据迁移功能的厂商之一并集成高可用性。
5.VMware宣称VSAN拥有4000以上用户，这将使它成为该市场部署最广泛超融合解决方案的厂商。
6.思科的HyperFlex处于早期阶段，影响了思科的本次评级，Forrester对思科的基础UCS平台给予了极大的认可，HyperFlex的“仕途”应该会扶摇直上。
7.HPE的产品也处于它的早期阶段，它在HCI细分市场的地位随着时间的推移将迅速改善。
8.华为提供FusionCube，支持不同的虚拟机管理程序，其产品看来技术成熟，但数据服务是弱项，界面使用相比其他厂商更为方便。
ScaleComputing的总结是：“一家小型公司但有一个很大的用户基础。”
超融合是存储市场热点之一，具有很大的发展潜力。随着厂商试图吸引和掌握市场份额，竞争渐趋白热化。
超融合的市场还在成长阶段，未来的盘子足够大，各个玩家之间的关系其实是竞合关系，尤其是超融合厂商，由于在计算平台领域是中立立场，既支持VMware，也支持OpenStack以及KVM、Hyper-V等其它架构，因此在未来与另外两大阵营之间有更多合作的可能性。
2.国内外厂商关于超融合产品的目标细分市场定位以及技术发展趋势？解答：不管是国内厂商还国外厂商，超融合产品的目标市场都是替换现有数据中心的虚拟化环境，简化IT架构。
那些目前运行在物理硬件上的应用最好还是继续保持运行在物理硬件架构上。所以，除了那些目前仍然需要直接运行在物理硬件环境中的应用程序，外，都是超融合架构的目标市场。
在技术的发展上，国外产品都以自有产品为主，包括Nutanix和VMWARE的VSAN。如果部署了以后，只能按照厂商的这条技术路线去扩展。而国内由于技术能够有限，基本都是以开源技术深度优化和整合为主。优势是比较开放，可以支持多种虚拟化平台，用户选择可以多一些。3.超融合基础架构产品对于数据共享的具体应用方案？超融合基础架构产品基本采用软件定义存储SDS来解决了虚拟化存储问题，提供一个大容量的数据存储池，这里需要说明的是SDS是指ServerSAN，由超融合基础架构产品提供分布式块存储。而当前的客户在生产环境还是对虚拟机及物理机都有着数据共享的需求，比如应用程序的HA等，这就需要分布式文件系统或者NAS存储系统。目前超融合架构产品普遍缺乏，在实际环境还是需要独立部署外部的NAS存储系统，当前哪一家超融合架构产品可以提供相应解决方案？解答：很多超融合厂家针对底层数据存储采用ceph。Ceph是一个分布式存储系统，支持对象，文件，块接口。
分布式存储的应用场景相对于其存储接口，现在流行分为三种:
1.对象存储: 也就是通常意义的键值存储，其接口就是简单的GET,PUT，DEL和其他扩展，如七牛、又拍，Swift，S3等。
2.块存储: 这种接口通常以QEMUDriver或者KernelModule的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RBD(RBD是Ceph面向块存储的接口)。
3、文件存储: 通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。
众所周知，很多传统厂商如日立、富士通等存储大厂也采用了Ceph作为它们存储硬件的载体，Ceph能提供企业级的存储服务一定有它的优势，才能让传统的存储厂商弃而采用开源的存储方案。
弹性的数据分布策略和物理拓扑输入实现了高可用性和高持久性，Ceph的高性能重构还体现在利用CRush算法对数进行约束，避免数据分布到所有的集群的一个节点上，利用Ceph设计并提供的一个由CRush算法来支持一个高自由化的存储集群的设计，实现高可靠性，高持久性，高性能。
对于数据共享当前很多超融合架构产品都可以提供相应解决方案的！4.超融合的应用范围？是不是超融合大多适用于大数据分析上，主要是在线分析型应用和数据库？解答：首先，超融合系统适用于IT环境的所有应用类型。
其次，超融合系统的首要目的是管理虚拟化环境，那些目前运行在物理硬件上的应用最好还是继续保持运行在物理硬件架构上。所以，除了那些目前仍然需要直接运行在物理硬件环境中的应用程序，我不认为存在一种特殊的应用程序不能被部署在超融合的基础架构中。
最后，只需超融合群集规模足够，能提供的足够的性能，超融合架构是可以跑在线分析型应用和数据库的。5.超融合是否可以支持一切系统？现有情况描述：
公司现有业务系统多套，OA、CRM、MAIL、等等20多套，现每个业务系统都跑在不同的X86服务器、POWER小机上，后期管理十分繁琐，需要不同的专业人员。
数据日益增多，现有数据3T，每年会有500G的增长量，现还需考虑媒体文件存档，大概一年需要800G文件存档。
问题：
1、OA、CRM、ERP等大型信息系统，是否能跑在超融合上，如何设计架构？
2、Oracle是否能够跑在超融合上？
3、超融合概念是“软件定义一切”，但经过了解目前只是软件定义存储，CPU、内存是否也能够融合，CPU使用高时，如何解决这个瓶颈？
4、数据量较大，增长量快速，是否适合超融合架构？与传统存储有什么优势？解答：超融合以现阶段的产品能力而言主要用于支持应用运行，小型数据库，而不适合大型的数据库。所以你问题里的OA、CRM、ERP理论上都可以，但数据库组件建议放置在外。
具体解决：
1、大型信息系统理论上可以跑超融合，只要超融合的规模足够大，整个超融合架构群集的性能要大于大型信息系统的需求，就可以上，架构上都是分布式部署，根据性能需求配置节点数量。
2、Oracle目前有单独的超融合架构系统，类似于ORACLE推出的一体机，可以保证性能和稳定性，但是一般的超融合架构不建议上。
3、软件定义一起，在CPU和内存上还是遵循虚拟化层的定义，这个主要看你选用什么样的hypervisor，例如VMware就可以动态调节CPU负载，这个已经是成熟的技术，超融合只是将不同的hypervisor整合到一个统一的设备中。
4、数据量较大，增长量快速，非常适合选用超融合架构，因为超融合架构在扩展上非常灵活，需要扩充时，只需要按需增加节点，而不会影响原有的节点，而且还会提升整个超融合架构的性能。与传统存储相比具有按需扩展，使用灵活，系统使用率高等特点。6.超融合架构如何帮组企业实现最好的转型？解答：随着时代发展，采用的 x86 服务器+网络+共享存储的传统三层架构逐渐显露出越来越多的弊端，给业务的快速扩展造成了较大的影响。主要表现在以下几个方面：
✔ 首先，随着各种业务的不断推出，虚拟机的数量不断快速增长，物理服务器和传统集中存储已不能满足业务快速增长的需求；
✔ 其次，在服务器扩展方面，由于传统物理服务器解决方案部署复杂、实施周期长，不能实现快速交付，从而延缓了公司业务的快速扩展；
✔ 第三，在购买方面，传统解决方案购买流程复杂，周期长，难以实现按需购买；
✔ 第四，在运维管理方面，管理窗口多，部署和运维人员多，运维难度大，对专业技术人员也有大量需求，这给企业带来了较大的人力成本压力；
✔ 第五，在售后服务方面，需要服务器和存储厂商等多方技术进行支持，因而在故障发生的时候，实效型很差，增加丢数据的风险。
在仔细分析公司的实际需求之后，采用新的 IT 架构解决这个难题，并对新架构提出了如下需求：
✔ 首先，由于机房空间有限，需要采用高密度的架构解决方案。在有限的空间里满足网络、存储、计算的要求；
✔ 其次，要求该架构弹性可扩展，并且具有稳定可靠、易于维护、高性能的特性；
✔ 第三，由于传统架构无法实现持续的可扩展性，使得性能无法保证。很多创新业务转型，互联网规模化的特点都需要高可靠及可持续的服务能力；
✔ 最后，互联网金融企业的规模化增长，业务规模无法预测，资源的变更频繁，需要及时满足不同业务的资源配置需求，持续降低运维成本和机房设施成本。
因此，新的 IT 架构应采用与互联网企业类似的 IT 架构——超融合架构。讨论问题总结二、国内外超融合产品的主要区别1.各个厂商之间的超融合产品的区别是什么？解答：HCI基础架构产品主要分为两大类：
第一种：纯软件方案，例如Nutanix和VMware的EVO:RAIL，支持安装到X86架构的服务器上，只需要购买软件许可授权即可，使用方便灵活。
第二种，软硬结合，例如Nutanix软件+联想X86服务器就变成了联想HX超融合一体机，VMware的EVO:RAIL+EMC(DELL)的X86服务器就变成了VxRail超融合一体机。购买硬件的好处是使用方便，开箱即用，稳定性也比自己组装的要好，安全可靠有保障。
目前市场上的超融合架构产品都是基于这两类产品进行销售。
二者怎么选择？建议技术型企业选择软件方案，使用灵活又可以降低成本。如果想省事，就直接购买硬件产品，部署又快又方便。
以下是目前主流的5个厂商的超融合架构产品分析，可以看到：
1、国外产品在虚拟化产品支持方面比较保守，只支持特定的Hypervisor ，而国内的厂商除了华为（只支持自家的和VMware），对Hypervisor 的支持都比较好。
2、群集规模，除了Nutanix，或多或少都有一些限制，都不是完全能够做到无限扩展，因为群集规模越大，管理和性能平衡上都是一个巨大的挑战。
3、目前国内外厂商都有纯软件和一体机的方案，大家可以按需选择。
4、分布式存储技术，做为超融合的核心技术，目前各超融合厂商的技术都做的比较好。但是国外的厂商Nutanix和VMware VSAN都是自己研发的，国内的厂商都是基于开源产品自己优化和修改的。优点是开放性比较好，缺点是稳定性可能会稍弱一些。
5、在管理方式上，各家都有自己的管理工具，都支持B/S的管理模式。
https://www.talkwithtrend.com/home/attachment/201705/02/4250_1493689145.pngQQ图片20170502093843.png
下面是一些产品的优势对比分析：
1、Nutanix
优势：
超融合基础架构市场的领导者，Nutanix已经部署在全球6000+家企业，并且是公认的最领先的分布式文件系统，拥有美国专利与商标局正式批准的分布式软件架构专利(US8,601,473).
Gartner2015/2016：魔力象限，Nutanix是集成系统的领导者
品牌知名度很高，具有深厚的技术沉淀，产品功能稳定完善，超融合生态链中具有无可比拟的优势。
全球白金赞助商Dell，Lenovo
全球金牌赞助商Mellanox，Commvault，Citrix，
合作伙伴Veeam，中科慈航，英迈中国，偉仕佳杰，博雅软件，长虹佳华等。
不足：
只提供一体机的方案，价格昂贵，不支持服务器利旧。
如支持的Vmware和Hyper-V计算虚化，客户需要从第三方单独购买授权。
Nutanix是VMware的合作伙伴，但现在已经变成最大（潜在）的竞争对手，虽然合作尚在。
松耦合带来CVM消耗资源较高，至少要24GB内存，8个vCPU。
Nutanix售后服务不足：
计算和存储分离，出故障容易扯皮；
本土没有研发团队
2、Vmware
①VxRail 最小规模4节点起配，扩展时只能以2 节点为单位进行扩展，只能扩展同型号节点，由于VxRail目前的配置型号是固定的，无法灵活定义计算资源和存储资源的数量；
②VxRail只能使用vSphereEnterprise Plus License；
③只支持vSphere快照，VMware 推荐快照链不超过2-¬‐3 个，且单个快照不超过24-¬72小时，以免影响虚拟机性能；
④无内置链接克隆功能，无法快速、批量部署虚拟机；
⑤不支持冷热数据分层，70%的SSD 作为Cache 使用；
⑥不支持数据本地化，尽可能保留数据在节点本地，避免不必要的跨网络数据访问，以实现快速的本地IO吞吐；
⑦不支持数据自动平衡，无法对每个节点本地磁盘容量进行数据平衡，在不影响数据本地访问的情况下，保证所有节点磁盘利用率基本一致；
⑧Dell由三家公司组合而成，内部关系复杂，有竞争有合作，产品整合任重道远；
1.Vmware纯软派：vSphere+VSan
2.VCE联盟集成派： Vmware+服务器+EMC存储服务
3.Dell OEM派： Nutanix软件+Dell服务器
⑨本地响应过慢、定制需求无法实现。3、深信服
品牌知名度高，渠道丰富
深信服做网络安全出身，所画即所得的部署模式和网络层的深度集成却让人印象深刻，非常适合SMB客户从网络安全到基础架构的一揽子交付需求。
配合虚拟桌面方案，优势明显（虚拟桌面的性价比很高）
深信服超融合系统采用GlusterFS，其优势：
①扩展性和高性能
②高可用性
③全局统一命名空间
④弹性哈希算法
⑤弹性卷管理
⑥基于标准协议劣势：
2015年10月份加入了超融合的战场，坦率的说在狭义的超融合架构（服务器+存储+虚拟化）上平淡无奇。
GlusterFS不是一个完美的分布式文件系统，这个系统自身有许多不足之处，包括众所周知的元数据性能差和小文件存储效率和访问性能很差。
①底层文件系统更适合一次写入多次读取，实际处理性能会比元数据系统差很多。当集群规模变大以及文件数量达到百万级别时，性能直线下降。（销售内部不推超过10个节点以上的方案）
②集群管理模式采用全对等式架构，大规模集群管理应该是采用集中式管理更好，不仅管理简单，效率也高。
③全对等式架构导致每次文件读写请求响应都是广播行为，所有节点都要参与一致性检查，其网络负担比较重。4、H3C VS HuaWei
优势：
大品牌，大集成商，大客户，大规模，软硬件产品线丰富，各种集成方案
不足：
非专业超融合厂商
Huawei从FusionCube拆分出来的FusionStorage，通过Hypervisor集成或作为其堆栈的一部分而摇身一变成为时髦的“超融合”，但从规格、指标来看，与“原生”的超融合架构仍然存在差距（仍然基于存储SAN 架构)
Huawei的FusionStorage则除了支持VMware和KVM外，自己也有基于Xen开发的FusionSphere虚拟化平台。
专业专注其硬件销售，华为华三互为主要竞争对手，关注于大型方案，对中小企业客户关注不多，整体方案硬件成本高，采用传统服务器产品。联想
优势：
超融合不需要存储，但一定要部署在服务器上。而服务器则是联想企业级最强的地方，与Nutanix合作推出的超融合HX系列，基于最好的x86服务器System x，目标成为超融合市场的标杆产品。
不足：
联想自身，没有自己的存储核心技术（缺少存储技术底蕴）。
多条产品线，内部竞争和销售策略混乱
产品推广问题多多：联想除了推荐自己的LenovoAIO产品线，同时还收购了SmartX的产品线。在OEM的Nutanix产品的同时，还跟SimpliVity进行产品合作，国内还跟Maxta产品合作。SimpliVity是Nutanix的主要竞争对手。而SimpliVity又是联想服务器在全球主要竞争对手的——思科(全球x86服务器市场，联想排第3，思科排第4)的战略合作伙伴，后者的OEM销售额占到了SimpliVity收入的20%。
HPE收购了SimpliVity！！！2.国内外超融合架构/方案的差别具体体现在哪些方面？解答：国外厂家都基本采用自己的产品，而国内厂家，基本采用开源的方式。除了产品成熟度方面，国外厂商产品一般在技术上比较封闭。国内产品比较开放，支持的虚拟化平台也比较多。
还有就是价格方面了，国内肯定要便宜一些。3.传统制造企业在超融合系统上的对比选择?客户现有几台物理服务器，各自单独运行OA、ERP、测试等业务系统，又新买了2台IBM3650服务器。
但是现在，客户出于数据安全（不丢数据）的考虑，出于业务系统稳定性的考虑：
1.在传统存储和超融合之间选择困惑？简单说明即可
2.比较倾向超融合，但是超融合又在国外大厂VMware VSAN、CISCO 超融合和国内华为、以及国内炒的比较多的深信服之间选择困惑？这几家优劣或区别是什么?如何选择能在低风险的情况下降低成本？解答：具体解决方案如下：
问题1解答：
(一) 传统架构的短板
1.业务系统为典型的传统三层数据中心架构，即存储、计算、网络分离，数据IO的处理效率底。业务端的数据最终都是要落到磁盘端的，当业务数据产生后需要经过计算、网络、存储三层才能完成交互，数据IO需要在各层之间中转，总体IO处理效率水平底。
2.客户使用的传统SAN存储，存在单点故障。采用传统的RAID冗余保护机制。性能提升只能靠购置更高端设备或增加RAID中磁盘数量。每次升级都需要对数据存储空间重新配置。不能在线平滑升级，需要中断业务后才可操作。
3.缺少对于生产磁盘故障的连续保护能力，当前存储系统仅实现了磁盘RAID组功能，一旦RAID组坏盘降级，存储系统将处于无保护的“裸奔”状态，若此时再坏盘，数据将有可能丢失，所以在当前生产系统环境下，数据安全性和业务的连续性将面临极大挑战。(二) 运维和扩容的难点
1.数据中心臃肿，多种业务、多种设备，不断建立设备差异，业务业务信息孤岛，异构环境，给IT管理成本增加。数据中心规模增大，也带来了能耗，UPS配备、灭火器、精密空调设备、7x24小时运行、监控服务等，这种数据中心的运行成本非常高。
2.随着业务的不断发展，考虑未来业务系统对底层架构性能、容量、扩展性、处理效率等方面需求增长，以及实时备份策略对性能、扩展性和网络环境要求，需要建立面向云数据中心的基于横向扩展的超融合架构支撑未来备份乃至存储业务的发展要求。
3.业务数据增长迅速，如果按传统备份存储方式操作，当前存储和备份设备均为Scale-up纵向扩展架构设备，容量扩展通过后端SAS链路串接扩展柜实现，存在天然的扩展瓶颈（增加扩展柜后会带来SAS链路信号衰减问题，性能衰减严重），未来备份系统包括存储系统将会承载非常大的数据压力且存在扩容瓶颈。问题2解答：
各家都各有特色，优缺点也很明显，超融合目前没有很完美的，还在发展，还需要方案验证！个人推崇Nutanix，但是很贵！深信服更贴合它的虚拟桌面卖。纯粹超融合的方案，缺少大规模部署案例，因为他目前的底层GFS文件系统不适合大规模部署（具体可以百度GFS补足）。
超融合未必比传统架构便宜。补充几点说明：
问题1、在传统存储和超融合之间选择困惑？
如果选择超融合架构，存储就可以不用考虑了。
数据安全性，超融合一个数据可以有2-3个副本，安全性高于存储。
性能，超融合需要达到一定规模，性能才能高于存储，如果业务量小，规模下，只买几个超融合服务器，性能肯定不如存储。
问题2、补充
看你虚拟化怎么选，如果认定VMWARE虚拟化软件，那就用VSAN。华为也只支持自己的FusionSphere和VMWARE。如果有多种虚拟化平台，就选国内比较开源一些的。
成本上，国外产品一般都比较贵。
降低风险，选择产品前先做POC测试，然后尽量选择一体化硬件产品。Nutanix（联想HX）、VMware（EMC VxRail）、华为（FusionCube一体机）、SMARTX（Halo硬件）、大道运行（FlexCube硬件）。不要选择软件产品，自己组装。4.超融合是否可以支持Power设备，与Power设备区别？在企业采购越来越多的设备的同时应该更多的考虑设备的数量，空间，功耗等方面，排除应用结合平台和架构的耦合性来说，超融合在节能减排上是如何的一个考虑，是否可以支持Power 设备强劲的处理能力环境。解答：IBM有个融合架构叫pureflex，但好像一直没啥好口碑。
超融合基础架构起源：Web-scale IT：如Facebook，谷歌等公司新一代数据中心，实现灵活性、扩展性基础架构服务
事实上，这一概念最早源于存储初创厂商将Google、Facebook等互联网厂商采用的计算存储融合的架构用于虚拟化环境，为企业客户提供一种将存储做到计算服务器中的融合产品。“因此，超融合架构最核心的改变是存储，而这一概念的最初推动者也都是来自于互联网背景的存储初创厂商。
目前定义的超融合是基于X86服务器的，Power设备很难融入。
超融合基础架构（简称“HCI”），是指在同一套单元设备（x86服务器）中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。
在POWER设备内，只能做到POWER VM虚拟化，网络和存储无法进行虚拟化，需要依靠传统网络和存储设备，所以单独依靠POWER设备是无法超融合的，在节能减排上，只能做计算资源虚拟化。5.请问下国内这些厂商提供的超融合产品价格和传统架构区别？请问现在提供的超融合产品价格大概在什么位置？要切换到这套东西需要做哪些事情呢解答：融合价格体系是这样的，和传统架构比，举个例子：
在达到相同性能的前提下，X86服务器+超融合软件的价格一定会低于X86服务器+存储+虚拟化软件的架构。大约会便宜1/3左右。
切换到超融合架构，需要了解现有虚拟化环境的配置和将来的需求，根据需要规划超融合架构的规模，然后在选择合适的产品进行采购部署。6.对比一下宏杉的存储和深信服的超融合架构？如题，想了解下，应该继续使用传统的存储，在存储端做文章还是，使用服务器类型的超融合架构！对于中小型医院讲！后期的维护将来的发展趋势应该选择那种！感谢！解答：我是这样理解的，传统的存储架构（混合存储、高端存储、全闪存阵列）相比超融合架构，还是有一定的优势的，
超融合强调的是融合，建设服务器、网络、存储之间的交互和故障节点，但是性能和安全可靠，和传统的存储还是无法相比，这就好比鸡蛋都放在一个篮子里是一个道理；
传统的存储（混合存储、高端存储、全闪存阵列），架构和技术都相对成熟，应用场景较多，应用类型较多，案例较多；
超融合通过服务器内安装软件，将服务器内的硬盘作为存储设备，本身和专业做存储的OS和架构上（例如FPGA，超融合是无法使用的）相比，存储的功能、性能、安全、可靠等都是无法相比的，例如超融合必须使用SSD（用来作为缓存）的，这些在专业的存储平台上，是有好多专门的技术来实现的；
存储平台的好多特性，超融合也是无法做到的（分级存储、存储双活等）
再说说医院的HIS 、LIS 、CIS、 PACS，这些业务系统，有些是需要高IOPS低延时的（可以采用全闪存阵列），有些是需要高吞吐量的（PACS）大容量的，如果要想统一解决这些问题，还需要传统的统一存储，超融合是无法满足的
最后说说宏杉，是一家专业做存储的公司，好多医院也在使用，品牌口碑都不错。讨论问题总结三、国内外超融合产品的技术问题1.超融合设备是否有类似openstack产品升级问题？作为一款开源解决方案，openstack 确实火的不行，很多云环境也是基于openstack进行建立，但是在openstack在建设的过程当中，由于部分模块的缺陷导致在一个版本里不能解决问题，除非升级才有可能解决，但是升级的风险同样是巨大的，那么作为超融合产品是否很好的解决了这方面的问题呢 。解答：每一家超融合厂家都有自己的升级方式，但是不影响业务不断服务一定是最最基本的要求。这个升级肯定是静默快速的。
最后拼的还是技术底蕴和专业服务。超融合是一套私有云的运维平台，厂家支持必不可少的。
超融合基础架构其实还是软件，是软件定义的基础架构，只要是软件，肯定会有产品升级问题，openstack 遇到的问题，超融合架构一定也会有。
所有产品都会有BUG和升级问题，就拿ORACLE来说，已经是很成熟的商业版本软件了。但是一个新版本的发布都会问题不断，升级又很麻烦，耗时间耗人了，折腾的不行。
风险都是同样存在的，就看我们怎么处理和应对了。2.超融合技术核心部分是否就是一款软件？普通X86服务器能否加入？如题，如果某一位领导问你，什么是超融合技术，如何概括为一句能让他大体上“听得懂”的语言描述之？是否是一款软件融合服务器及存储与一体的架构？对于我们现有的机房中的普通X86服务器是否能够直接加入“这个圈子”？也就是说需要什么特殊硬件要求吗？
https://www.talkwithtrend.com/home/attachment/201705/02/4250_1493689341.pngQQ图片20170502093959.png
解答：超融合架构将围绕虚拟化计算的存储、网络集成到了同一个硬件盒子中，生态系统涵盖软件和硬件厂商，因其核心是软件。超融合架构的每个机箱，就是一个含有运算与存储资源的基础积木单元，再透过分布式软件将多台机箱组成丛集，就像堆积木般，组成适合不同应用情境的集群。只要将更多节点加入到集群中，就能扩展整个集群的效能与容量。
①使用通用服务器硬件构成基本单元：使用标准的X86服务器硬件，构成集运算与存储单元于一身的基础单元。
②以软件定义方式来运用硬件资源：以虚拟机(VM)为核心、软件定义式的型式来运用硬件资源，资源调派均不涉及底层实体硬件的组态设定调整，纯粹以软件定义方式来规画与运用底层硬件资源，然后向终端用户交付需要的资源。
③集群化架构：透过集群或分布式系统软件，结合多个基础单元机箱成为集群，藉由集群来提供IT环境所必需的硬件资源规模、服务与数据的可用性，以及扩展能力。
④便于快速部署：产品已预先完成软硬件安装测试，用户只需设定基本环境参数便能开始使用。
超融合基础架构核心是一款部署在X86服务器上的软件，部署完成后（至少需要2-3台服务器和交换机），你的这个X86服务器群集就能提供存储资源，计算资源和网络资源了。
核心部分是分布式存储管理软件，如果没有这个，这几个服务器仍然需要一个统一存储设备，那么就不叫超融合了。
下面是超融合基础架构定义”：
超融合基础架构（简称“HCI”），是指在同一套单元设备（x86服务器）中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。3.超融合产品的扩展性怎么样？会不会绑定某种基础组件或基于某种组件无法扩展或修改？超融合产品的扩展性怎么样？会不会绑定某种基础组件或基于某种组件无法扩展或修改？
如：绑定了某些组件，但是这些组件客户不想使用或修改后使用解答：超融合产品扩展能力非常强，通常一个群集的规模可以达到在3-200多台。超融合产品的扩展一定基于同一款超融合架构软件才能实现的，组件一般都是可选的，按照功能需求进行选择，组件可以不要不使用，但是不能修改。4.超融合是基础架构，但是否可以进行定制个性化超融合架构作为基础架构，是厂家弄好了直接用还是说可以进行定制，比如自己团队进行一些定制。其技术是否开放？解答：超融合架构产品主要分为两种销售模式：
第一种：纯软件方案，例如Nutanix和VMware的EVO:RAIL，支持安装到X86架构的服务器上，只需要购买软件许可授权即可，使用方便灵活。
第二种，软硬结合，例如Nutanix软件+联想X86服务器就变成了联想HX超融合一体机，VMware的EVO:RAIL+EMC(DELL)的X86服务器就变成了VxRail超融合一体机。购买硬件的好处是使用方便，开箱即用，稳定性也比自己组装的要好，安全可靠有保障。
以上，你可以买厂家弄好的，也可以买软件，自己安装到X86服务器上，自己组建超融合基础架构。定制的话，你可以选择超融合软件的功能，不能自己做二次开发。
比如，对于超融合基础架构存储，你可以选择是否支持压缩、自动分层、重删等功能，副本数量2或3个，是否支持复制等。但是厂商没有的功能，就定制不了了。
关于开放性，部分超融合支持的虚拟化平台是开放的，比如VMWARE或OPENSTACK等5.超融合感觉还在用传统的虚拟技术，未来会与现在流行的docker这套东西整合吗?超融合感觉还在用传统的虚拟技术，未来会与现在流行的docker这套东西整合吗？解答:会。国内已经有生产案例了。
docker还在发展中～超融合很多都采用opstack管理框架，自然使用融合没有问题.
超融合和docker的发展其实并不冲突，超融合其实是基础架构设施，包括计算服务和存储服务。未来会与docker融合在一起的，而且有了超融合基础架构，docker还可以更方便的使用。因为docker也只能替代一部分VM的功能，也就是计算服务，数据存储服务还需要超融合基础架构实现。6.超融合下的备份和集中监控如何实现？超融合下的虚拟机和存储通常都是虚拟化之后的文件，各家厂商都不一样，那对于备份来说，是基于传统的备份，还是有专门的备份方式？能否详细介绍下？集中监控是采用传统的方式还是和超融合软件一起封装了？能否实现统一集中化的监控？
解答：在备份方面。超融合架构备份没有差别！跟传统架构的备份一样！超融合架构和传统备份基本没有什么区别。但是备份这块，超融合还有一个优势就是超融合的数据存储是多副本的，一般都为2-3份甚至多个COPY，即使一部分服务器坏掉数据也不会丢，所以在数据安全性上要高一些。基于这个基础，超融合的备份工作量可以减少一些，不是说不需要备份，在备份的数据量和保留周期上都可以适当缩短一些，减少备份投资成本。
在集中监控方面。现统一集中化的监控是必须的！！！
超融合就是计算存储网络的虚拟化技术，加上一个完整的统管平台～
有自研的，有openstack修改的，就是一套监控平台。
有时间看看Nutanix的产品架构，很容易理解。
超融合架构下的监控都是各个超融合基础架构厂商自己的产品，超融合基础架构对设备的管理要求比较高，因为一个超融合架构需要许多物理机组成。如果没有监控管理平台是无法想象的。所以在超融合架构下，一定是集中监控的，就看你选用哪个厂商的产品了，都配置有相应的集中监控平台。一个超融合平台，计算服务、存储服务、网络服务和监控服务都是融合在一起的。
Nutanix退出中国，中国哪家超融合厂商可以替换？
[*]宋 家雨 发布于 2023-01-06
[*]分类：业界
2022 年 8 月 19 日，Nutanix（路坦力）宣布中国市场自 2023 财年起将转型为合作伙伴销售主导模式，引起了广泛关注；同时结合当前 IT 基础架构的国产化趋势背景，不少正在使用和考虑使用 Nutanix 产品的企业开始寻求国产超融合替代方案。
作为国内最早投入超融合自主研发并大规模商用的团队，志凌海纳 SmartX 已经成为不少用户的云化和信创转型选择。今天，我们将重点分析对比 Nutanix 与 SmartX 在市场格局、技术特性和性能表现上的差异，充分探讨 SmartX 超融合替代 Nutanix 的可行性。最后，文末也给出了将业务从 Nutanix 迁移至 SmartX 超融合的具体方法，帮助有需求的用户快速实现替换。一、替代可行性之市场、产品、技术、性能对比1.国内超融合市场格局对比根据 Gartner 发布的《2019 中国区超融合竞争格局》报告，SmartX 和 Nutanix 均为独立超融合厂商（Pure-play HCI Vendor），两者都专注超融合领域技术开发，完全依赖领先的核心技术、专业的产品和服务与传统大厂竞争，并赢取客户信赖。双方都聚焦在金融、医疗、制造等对 IT 高度依赖，并且对产品和服务要求苛刻的行业。http://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016271373086033.png同时，SmartX 在国内金融市场份额表现突出。根据 IDC 《中国软件定义存储 (SDS) 及超融合存储 (HCI) 系统市场季度跟踪报告，2021 年第四季度》，中国超融合软件市场份额排名靠前的国产品牌分别是华为、新华三、深信服、浪潮和 SmartX。其中，SmartX 在金融行业超融合软件市场占有率排名第一，收获良好口碑。目前，SmartX 超融合在金融行业已落地超过 200 家客户，总计部署超融合节点超过 4000 个，其中信创相关节点超过 700 个，80% 是生产业务案例。下面，我们将从逐一对比 Nutanix 和 SmartX 超融合在产品组件、分布式存储技术和实际性能上的表现。2.产品组件与交付形式对比（1）产品组件对比以下针对双方超融合基础架构核心产品特性与相关组件进行对比：http://drdbsz.oss-cn-shenzhen.aliyuncs.com/230106001628565316121.png结论：目前在超融合基础架构的核心产品功能和组件层面，SmartX 不仅同样具备自主研发的存储核心、原生虚拟化以及多虚拟化平台支持，同时也具备网络与安全、备份与恢复等产品。另外，Nutanix 目前已经全面转型到订阅交付模式，而 SmartX 目前提供一体机、软件和订阅三种模式供用户灵活选择。以下，针对超融合最核心的组件——分布式块存储的技术架构进行更详细的对比。（2）分布式存储技术对比目前市场上的分布式存储技术架构基本上分两大类：一类是围绕开源技术 Ceph 提供的解决方案，一类是通过自研的方式提供解决方案。SmartX 和 Nutanix 在此都走了自研技术的路线，且都借鉴了 GFS（Google File System）的技术架构。更多关于 ZBS 的架构解析，请阅读：分布式块存储 ZBS 的自主研发之旅 | 架构篇。从广泛意义上讲，分布式存储中通常需要解决三个问题，分别是元数据服务、数据存储引擎，以及一致性协议。不同分布式存储系统之间的区别，主要来自于这三个方面的不同选择。接下来我们通过对比 SmartX 和 Nutanix 核心关键组件最终的实现方法来看看两者之间的关系。a.群集核心组件关系对比http://drdbsz.oss-cn-shenzhen.aliyuncs.com/230106001628984955832.pnghttp://drdbsz.oss-cn-shenzhen.aliyuncs.com/230106001628659627915.png通过上面群集核心组件的对比，能够看出两个方案采用了相似的架构。但另外一方面， ZBS 针对一些关键组件进行了技术优化。例如，元数据管理关键组件 Zookeeper 和 Cassandra 本身存在一些局限性：Zookeeper 存储的数据容量非常有限，且无法和数据服务混合部署在一起；Cassandra 不提供 ACID 机制，在上层实现时会比较复杂，需要额外的工作量。ZBS 选择采用 LevelDB 和 Zookeeper 结合的方式，有效避免这些问题，从而实现可靠性、高性能和轻量化的目标。b.存储数据结构http://drdbsz.oss-cn-shenzhen.aliyuncs.com/230106001628668292466.pnghttp://drdbsz.oss-cn-shenzhen.aliyuncs.com/230106001629325740608.jpeg通过上面的对比，可以看出两种方案选择了不同的块大小单位。ZBS 采用较大粒度的基本数据单元（数据块），可减少元数据消耗的内存资源，保证全部元数据都可以保存在内存中，提高访问效率。除了支持精简置备外，ZBS 也同时支持厚置备磁盘模式。c.数据 I/O 路径http://drdbsz.oss-cn-shenzhen.aliyuncs.com/230106001629581114031.pnghttp://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016291977366402.jpeg在数据访问 I/O 路径上，两者同样具备很多相似性，例如：自动分层、数据本地化、数据自动平衡等。但 ZBS 的元数据缓存在内存中，这样可以加快针对元数据的操作响应速度。同时，元数据在所有节点中都保存一份副本，保证元数据的高可靠，这样即使有部分服务器发生宕机，元数据也不会丢失。d.数据冗余机制http://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016292120281075.jpeghttp://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016301005542299.jpeg在数据保护层面，两者也采用了类似的技术，但 ZBS 在副本分配策略上提供了更丰富的方式，例如：局部化、副本分配策略动态调整（根据存储容量空间占比大小进行动态调整）。ZBS 快照的元数据是存储在 ZBS 分布式存储元数据服务集群内的。元数据位于内存中，有更好的响应速度，同时元数据也会持久化同步到 SSD 介质上，这样即使是主机重启后，也可以通过 SSD 快速加载元数据到内存当中，不会因为主机重启而降低快照性能。更多关于 SmartX 元数据存储与快照技术解析的内容，请阅读：VMware 与 SmartX 快照原理浅析与 I/O 性能对比。3.性能对比性能表现通常是用户比较关心的问题，因此，我们选取用户对 SmartX 超融合（SMTX OS 5.0.3）和 Nutanix 超融合（AOS 5.20.4.6）的实际评测，对比说明两家产品在测试用例中的表现差异。以下所有测试基于完全相同的物理硬件设备环境，并进行了多角度的测试。注：SmartX 超融合使用的是原生虚拟化 ELF，并开启了 Boost 模式，而 Nutanix 超融合使用的是 VMware ESXi 6.7u3B 虚拟化平台。（1）FIO 测试首先针对每个虚拟机的 100GB 数据磁盘进行全盘数据写入，再对数据磁盘进行 4P1V 和 4P4V 不同 I/O 模型的性能测试。4P1V：代表 4 个节点运行 1 台虚拟机，只对 1 个虚拟机进行性能测试，也就是模拟单个业务系统在集群内所能获得的性能。4P4V：代表 4 个虚拟机分布在 4 个不同的节点上，对 4 个虚拟机同时进行性能测试，也就是模拟整个集群所能提供的性能总和。（2）测试环境http://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016301850431766.png场景一：随机读/写 IOPS 对比（4P1V 单虚拟机）http://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016301188253313.png说明：4k Randrw 混合读写场景下，Nutanix 读 IOPS 为 17885，写 IOPS 为 7674；SmartX 读 IOPS 为 67633，写 IOPS 为 28983。http://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016301292616033.png场景二：顺序读/写 带宽对比（4P1V 单虚拟机）http://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016301164907151.pnghttp://drdbsz.oss-cn-shenzhen.aliyuncs.com/230106001630254202207.png场景三：随机读/写 IOPS 对比（4P4V 集群）http://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016301510229578.png说明：4k Randrw 混合读写场景下，Nutanix 4 个虚拟机读 IOPS 分别为 17738、18035、18426、18330，写 IOPS 分别为 7623、7718、7881、7862；SmartX 4 个虚拟机读 IOPS 分别为 48193、46668、46466、46997，写 IOPS 分别为 20655、20001、19929、20156。http://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016311637790843.png场景四：顺序读/写 带宽对比（4P4V 集群）http://drdbsz.oss-cn-shenzhen.aliyuncs.com/230106001631816315164.pnghttp://drdbsz.oss-cn-shenzhen.aliyuncs.com/2301060016311962950788.png可以看到，SmartX 超融合在以上测试用例中，测试结果均高于 Nutanix 超融合。二、SmartX 超融合的差异化优势虽然 SmartX 和 Nutanix 超融合“两者的技术基因非常类似”，但 SmartX 作为国内最早专注于自主研发超融合软件的公司，还在产品、方案和服务层面提供了差异化的能力，为国内客户创造更大价值。1.产品：更强的硬件开放性SmartX 超融合支持集群异构，可将不同品牌、不同配置（CPU、内存和磁盘）的节点统一在一个集群内部，这样可以满足不同环境的各种需求，例如不同时期的不同配置或者不同品牌服务器的利旧。而在这一点上，Nutanix 有严格的品牌一致性要求。这一特性在 SmartX 超融合客户实践中得到了充分体现：五矿期货超融合硬件平滑升级与多数据中心管理实战。欲了解更多 SmartX 异构节点支持特性与软硬件平滑升级实践，请阅读：如何做到 IT 基础架构软硬件升级简单又不停机？不止弹性，更加灵活。一文了解 SmartX 超融合如何扩容2.方案：联合本土厂商推出更符合国内客户需求的联合解决方案目前，SmartX 已经在硬件服务器、操作系统、数据库、云管、备份等层面与本土厂商进行方案整合，以便满足国内客户在信创等方面的特定需求。欲了解更多 SmartX 与国内厂商发布的联合解决方案，请阅读：SMTX OS 成为国内首个获得鲲鹏 Validated 认证的超融合软件 | 信创生态SmartX 携手爱数发布无代理虚拟化备份联合解决方案3.服务：更及时全面的本地化服务除了专业的产品和方案，SmartX 及时、专业和全面的服务同样得到用户的认可，这也成为 SmartX 超融合达到近 70% 复购率的重要原因：不仅源于掌控核心技术的本土团队，更来自于 SmartX 从研发、产品到一线团队的 360 度闭环服务体系。三、越来越多的原 Nutanix 客户已经转向 SmartX基于上述双方的相同点和 SmartX 的优势，越来越多的 Nutanix 用户在与 SmartX 进行接触后，对 SmartX 的产品能力、价值、可替代性以及优秀的本地化服务给予了充分的肯定，并从原有 Nutanix 平台迁移到 SmartX 平台，其中包括日立电梯、东方证券、交通银行、松下万宝、国泰君安等在内的行业头部客户。四、如何从 Nutanix 超融合迁移至 SmartX 超融合最后，我们结合 Nutanix 用户现有可能的技术架构，将业务迁移到 SmartX 平台的技术路径进行简单的汇总。http://drdbsz.oss-cn-shenzhen.aliyuncs.com/230106001631445725700.png总结通过以上分析可以看出，SmartX 不仅在市场定位、产品组件、整体技术实现层面与 Nutanix 具有较高的相似性，更是在超融合产品性能、产品开放性和本地化方面有着更出色的表现，是 Nutanix 国产化替代的理想方案选择。“不止于国产替代，更关注可持续发展的现代化 IT 基础设施。” 基于这一理念，SmartX 提供自研、轻量、解耦、生产就绪的信创云基础设施解决方案，帮助用户实现“生产级”的信创云转型与国产化替代。您还可阅读 VMware 与 SmartX 对比系列文章，了解更多技术特性与性能评测：浅析 VMware 与 SmartX 超融合 I/O 路径差异及其影响VMware 与 SmartX 分布式存储缓存机制浅析与性能对比VMware 与 SmartX 快照原理浅析与 I/O 性能对比生产级 VMware 虚拟化方案替换路线与评估
超融合详细对比：市面各主流超融合产品及厂商优劣势解密
csdn研发技术
于 2018-02-08 17:17:51 发布
15513
收藏 23
分类专栏： 技术文章
版权
技术文章
专栏收录该内容
46 篇文章11 订阅
订阅专栏
随着超融合在国内市场兴起并逐步成为主流，一场针对于IT基础架构的技术变革悄然而至。沿用二十多年的传统IT架构面临着新一代架构的严重冲击。近几年来，面对巨大的市场机遇，超融合厂商也如雨后春笋，不断涌现。企业用户的数字化转型发展得益于超融合架构的创新推动，但同时也面临着如何评测和遴选优质厂商及产品的难题。
这些主流国内外超融合厂商到底有哪些区别？他们产品有何优劣势？到底应该从那几方面去评测超融合架构才能拨开迷雾？本篇文章便要深度对比分析市场各主流超融合和厂商，帮助超融合入门用户全面而深入地理解超融合概念，并能从核心关键方面来了解不同厂商及产品的特点，从而结合企业的情况进行有针对性的评估与选择。
一、超融合到底是一个概念还是一门技术？
超融合是一种 IT 基础架构构建方式，其核心思想是使用通用硬件，用软件定义来实现 IT 基础架构的各项服务，包括：计算，存储，灾备，运维管理等，并且这些服务都在统一的平台上。
超融合概念包含三个要素：
使用通用硬件：具体说就是 x86 服务器，所以如果出现专有硬件的 IT 平台的就不属于超融合。比如，传统集中式存储里的存储控制器就属于专有硬件；
软件定义： 即超融合 IT 服务是通过 x86 服务器里运行的软件实现的，如：分布式存储软件实现数据存储服务；相比之下，传统 IT 服务大多是用专有硬件且功能逻辑写死在固件里；
统一平台：所有的 IT 服务要在一个平台下，隶属于同一个软件栈，这里区别于以往 IT 服务架构方式，各服务会属于不同的平台；需要特别区分的是，市面上将存储设备，服务器，网络交换机放在一个机柜里整体交付的融合方案，如：VCE Vblock，和超融合完全不同。
可见超融合是一个概念，而不是一个技术，明确这一点对于理解超融合本身非常重要。不同超融合产品和厂商的区别或差距不在概念本身，而在超融合背后的技术和实现方式。一个简单的类比：“汽车”就是一个概念，字典里的解释是：“通常为四轮的自动车,用于街道和公路运输”。这里至于如果实现这个概念并没有做规定和限制，所以无论是纯电动的特斯拉，福田小卡，高尔夫球车，都是满足上面的定义，但是使用场景和背后的实现，可谓天壤之别。
二、评估超融合平台到底需要关注哪些核心问题？
明白了超融合只是概念，进一步的问题：各厂商超融合产品的实现有哪些不同？这个问题才是选择超融合真正的关注点，展开来有四个子问题：
1.超融合平台整合了哪些 IT 服务？
1） 分布式存储打破数据孤岛
虽说超融合通过软件定义的方式整合了多个 IT 服务，但其中软件定义存储是基石。这里需要说明一下：池化服务器的本地存储，要求软件定义存储必须是分布式的，且能被虚拟机挂在成虚拟卷使用，不加特殊的说明，超融合平台里的软件定义存储指的是分布式块存储。
没有稳定可靠的分布式块存储，就无法对外提供统一的存储资源抽象，没有统一的抽象，各个服务器的本地存储就是一个个数据孤岛，与传统的单机存储没有区别。所以，讨论超融合平台却不讨论分布式块存储，而避重就轻的展示平台 IT 服务的种类，更甚者竟然用支持 IT 种类的多少作为超融合的代数标准，基本可以判定是一种“误导”，本质是这类厂商不具备超融合与分布式存储的研发能力。主流核心厂商都无一例外的在分布式块存储上有着核心的竞争力和自主研发能力，比如：Nutanix Acropolis Enterprise Storage （内部之前叫 NDFS）， VMware VSAN ，SmartX ZBS等 都是对应超融合平台里的核心分布式存储。
2）虚拟化计算同样不可或缺
虚拟化计算是超融合平台另一个不可或缺的服务，有了存储和计算就有了最基本的 IT 基础架构，很多厂商也会一部分网络服务的功能纳入到虚拟化计算。由于 Hypervisor 的技术相对成熟，无论是闭源的 VMware ESXi 还是开源的 KVM，无论功能还是性能都通过了很多年市场验证。所以虚拟化计算服务在超融合平台上基本集中在 VMware 产品和 基于 KVM 自研的产品，如：Nutanix 的 AHV（基于 KVM），VMware 的 vSphere（基于 ESXi），SmartX 的 Elf（基于 KVM）等。当然 Nutanix 和 SmartX 也同样支持 VMware 虚拟化计算平台，而且借助其强大的存储服务，整体超融合平台的表现甚至还要优于 VMware。
3）一个平台管理多个IT服务，运维简化是趋势
随着单个服务器计算能力越来越强，越来越多的 IT 服务其实都可以通过软件定义的方式来实现，如：灾备服务、全闪存、容器服务、网络服务、安全服务等。
一个平台上有多个 IT 服务是一种趋势，伴随着革命性的变化就是：传统架构下需要运维管理多个 IT 平台，在超融合下，一套管理平台就够了，这就为从全新的角度审视 IT 运维，提供了极大的想象空间。同时，在超融合架构下实现强大好用的统一管理平台，其重要性和优先级也被提升到前所未有的高度。像超融合领导厂商 Nutanix，SmartX 等，在运维管理平台上都下足了功夫，分别推出了智能强大的管理平台：Nutanix Prism 和 SmartX Fisheye，极大的提升系统的易用性。
总结一下就是，超融合平台里分布式块存储、虚拟化计算和统一运维管理平台是最小，也是最核心的集合，缺少任何一个都无法称作超融合平台。但随着硬件的发展，更多的服务势必会在超融合平台里实现。
2．这些IT服务是如何实现的？
评测超融合产品，关键不是看包含了哪些 IT 服务，向超融合这个“盒子”里塞更多的 IT 服务远不如塞进“盒子”IT 服务的质量重要。一些厂商借助客户对超融合市场认知的不成熟，会一味的拼超融合平台上服务和功能的数量。通常的做法就是拿开源的项目，如：“OpenStack + 开源分布式存储 (Ceph/GlusterFS…)” 搭一个功能看似大而全的“超融合平台”快速推向市场。可以看到，几乎没有用户最终能够真正的用起来，原因在于这种拼凑的“超融合”产品往往各个服务组件的质量无法过关，在可靠性，稳定性，性能方面问题多多，加上开源社区基本不在这些 厂商的控制之下，所谓的售后支持形同虚设，很难达到一个产品应该拥有的市场准备度。
1）实现机制是核心
服务的核心在于实现它的技术和机制。举一个手机电池的例子，为了实现手机长续航的能力，一家厂商简单的增加电池块的容量，另一家公司采用的是优化手机软件的电池管理算法，即便最后的测试下来都能续航两天，但第一家手机在续航的实现机制上是不如第二家的，因为增加电池块会引起手机发烫，并且有电池爆炸的风险，但这些缺陷无法在测试续航时间这个指标里得以体现。
同样的道理适用于超融合产品。超融合产品比拼最重要的必然是分布式块存储、虚拟化计算、运维管理平台的实现。
重中之重是软件定义存储，它是超融合平台的基石。当前市场里各家超融合平台分布式块存储的实现无非是两个途径：
自主研发，如：Nutanix NDFS，VMware VSAN，SmartX ZBS，华为 Fusion Storage；
直接采用开源的分布式存储或在开源基础上小幅改造，如，Ceph，GlusterFS；
开源最大的好处是产品上市的周期可极大的缩短，最大的风险除了存储的稳定性没有保障，还有就是厂商对存储的控制力和维护能力几乎没有，存储系统不比其它系统，守护着企业最重要的数据，一旦发生问题就会陷入束手无策的失控境地，给企业带来的损失是惨重而不可估量。
这里有一个不可忽视的事实，国外知名超融合厂商无一例外的都走了自主研发的道路，也证实了在成熟的市场环境下，用户会理性的选择自主可控且有保障的产品。纵观 IT 发展的历史，甚至没有一家存储公司，使用开源的存储项目来实现自家的存储产品，并取得产品和商业的成功。再次验证了，存储关乎业务的连续性、数据的可靠性和安全性。没有一家企业客户“敢”把自己的业务托付给不可控的存储产品。
市场上所有的分布式块存储架构基本可以收敛到两种，一种数据放置和分布依赖元数据服务，另一种数据放置和分布依赖一致性哈希。但就分布式块存储本身而言，两种数据架构各有千秋。但在超融合场景上，元数据服务的方式有更多的优势，数据的放置更灵活可控，如：VM 数据本地化能缩短 I/O 路径，大大减少网络流量。采用这种架构的产品有 Nutanix NDFS 和 SmartX ZBS。
其次是虚拟化计算，与存储不同的是，虚拟化的核心技术 Hypervisor 相对成熟。各超融合产品更多比拼的是虚拟化平台的支持能力。支持多种虚拟化平台意味着更少的厂商绑定的风险。此外，是否支持虚拟化的特殊接口也是很重要的指标，它直接影响使用体验和维护支持，比如：VMware VAAI/VVol，Citrix Ready 等。这块比较优秀的国外厂商是 Nutanix，几乎支持所有的虚拟化平台；国内厂商 SmartX、华为支持除 Hyper-v 以外的所有虚拟化平台；VMware 只支持自家的虚拟化平台，开源超融合方案一般只支持 KVM。
KVM 作为开源的 Hypervisor 被很多厂商选用，但各家需要实现自己的虚拟化计算管理平台，除了基本的 VM 生命周期管理，还至少需要实现企业级常用的功能，如：VM HA、、虚拟分布式交换机、共享盘等。
除了存储和计算，其他 IT 服务或多或少会依赖以上两类核心服务，比如：容灾和备份依赖存储服务；容器编排依赖计算服务。
2）资源消耗需着重评估
除了服务的实现机制，超融合平台有一项特殊的要求：资源消耗要尽可能的小。超融合场景下，消耗大量的资源是绝对不能接受的，每个物理服务器除了运行存储、计算等多个 IT 服务，还要把剩余的资源分配留给业务应用，IT 服务占用资源越大，留给业务应用的资源就越小，甚至挤压到业务无法运行。资源消耗不仅节省 TCO 的指标，更是影响超融合实用性的重要变量。
以下收集了各厂商分布式块存储产品的资源消耗情况。
3. 服务如何进行整合与管理？
1）各有利弊的三类服务整合方式
服务整合广义是超融合平台上各服务的结合方式，但业内讨论更多的是存储与虚拟化的整合。大致可以分为三类：
存储服务作为内核模块运行在 Hypervisor 内部。最典型的代表是 VxRail，存储服务 VSAN 作为 ESXi/vSphere 内核模块被整合 。这种架构下存储服务不经过Hypervisor直接访问存储设备，几乎无性能损耗，理论上本地 I/O 性能可以充分发挥，遗憾的是 VSAN 的实际性能在超融合产品里并不突出，应该是存储软件的优化相比其它厂商还有差距。这种紧耦合架构存在以下风险：
厂商锁定的风险，如 VMware 超融合平台虚拟化计算锁死了 vSphere；
计算和存储无法独立升级；
存储或虚拟化计算服务任何一个发生问题都可能会影响对方的正常工作。
存储服务运行于 Hypervisor 上独立的虚拟机里，该虚拟机实际起到虚拟存储设备 VSA（Virtual Storage Applicance）的作用，所以也称为控制虚拟机（Nutanix 称 CVM）或者存储控制虚拟机（SmartX 称 SCVM）。VSA 需要通过 Hypervisor 访问物理硬件资源，一般为了降低性能的开销，VM 会以直通的方式访问硬件资源，如：HDD，SSD，网卡等。这种架构里虚拟化与存储解耦，互不影响，可以独立升级，甚至 VSA 发生故障不工作，也不会影响该物理节点，通过 I/O 路由的技术，VSA 故障节点上的 VM 会通过其他正常的 VSA 访问存储资源。当然，给用户带来的最大收益还有消除了 Hypervisor 锁定的风险，VSA 可以支持多种虚拟化计算平台。 采用这种整合的产品有 Nutanix，SmartX Halo for VMware。
存储服务运行在 Hypervisor 外部，但与 Hypervisor 隶属于同一个软件栈。这种架构适用于 KVM 超融合平台。比如，SmartX Halo 超融合平台自带的虚拟化平台 Elf 基于 KVM 实现，分布式块存储 ZBS 与 Elf 都在 Halo （SmartX OS） 软件栈上。这种整合的最大优势在于：
性能相比 VSA 的方式要好；
存储或者 Hypervisor 出现故障互不影响。
2）管理与运维好才能发挥出超融合的优势
由于涉及比传统平台更多的 IT 服务，超融合更加强调管理平台的重要性和易用性。强大好用的管理平台能大大提升运维效率，降低运维成本，将超融合架构敏捷的特性发挥得淋漓尽致。
超融合厂商产品家的管理平台一览：
一个优秀的超融合管理平台应该涵盖产品从交付到日常运维的方方面面：
基于 Web 管理 UI 应该是超融合平台的标配，同时 Web 管理服务也是超融合服务的一种，需要考虑管理控制台的的高可用；Nutanix Prism 和 SmartX Fisheye 都是分布式的管理平台，没有单点故障，相比之下 VMware vCenter 就存在单点故障的风险；
集群服务管理，包括：存储，虚拟化，网络等管理；更进一步，由于采用了软件定义的技术，管理平台也应该能展示并洞察更细粒度服务，比如：软件定义存储里的分布式组件服务；
基于事件、性能的监控、分析和报警，可以说各家的产品或多或少都在这块有支持，但是仔细研究会发现功能丰富度和易用性各产品差别巨大。这块做得非常突出的是 Nutanix 和SmartX的产品，两家都能在全局集群、物理服务器、虚拟机三个层面提供丰富的性能和事件的监控、分析和报警。
自动化、图形化的安装工具。简易安装和部署不仅是系统快速上线的关键，也是超融合作为软件交付的必要前提，像 Nutanix Foundation和SmartX Tuna 都提供了非常方便的 UI 安装和部署工具，整个部署过程通常能在 1 个小时内完成；
系统硬件管理，好的管理平台也应该能支持数据中心硬件的拓扑管理和配置，这方面 VMware，Nutanix，SmartX 都非常优秀，尤其是 Nutanix 和 SmartX 都提供了基于集群拓扑的管理。
4．产品有哪些交付方式？
超融合依托标准的 x86 服务器，一般可以是安装了超融合软件的一体机或者是独立的软件授权。当前主流厂商支持的交付方式如下：
csdn研发技术
关注
11
23
8
专栏目录
————————————————
版权声明：本文为CSDN博主「csdn研发技术」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/dev_csdn/article/details/79291852
VMware 与 SmartX 分布式存储缓存机制浅析与性能对比
志凌海纳SmartX
于 2022-09-16 14:18:07 发布
532
收藏 3
分类专栏： 产品解析 文章标签： SmartX 超融合
版权
产品解析
专栏收录该内容
31 篇文章2 订阅
订阅专栏
作者：深入细节的 SmartX 一线技术团队
近日，VMware 发布了 vSAN 8，对存储架构进行了重大更新。其中最主要的变化，即引入了新的 Express Storage Architecture（ESA）架构：用“存储池”替代了原存储架构（OSA）中的“磁盘组”，并不再需要专用 SSD 承担缓存加速功能，一定程度上避免了 8.0 之前版本中的专用缓存盘利用率低、易发生缓存击穿等问题。
而值得一提的是，在 vSAN 大版本更新之前，SmartX 即通过统一缓存空间和智能冷热数据管理优化了分布式存储缓存机制，有效规避了上述问题。本文将通过重点解读 vSAN（以 vSAN 7 为例）和 SmartX 分布式块存储组件 ZBS* 缓存机制的原理，并测试对比两种缓存机制下虚拟机性能表现，让读者更好地了解两种技术实现机制的区别对业务可能带来的实际影响。
* ZBS 内置于 SmartX 超融合软件 SMTX OS，可与 SmartX 原生虚拟化 ELF 搭配提供服务。
本文重点
vSAN 7 采用划分读写缓存空间的机制，将缓存磁盘按照容量占比划分为写缓冲区（30%）和读缓存区（70%）。这种方式可能出现缓存利用率低、在访问数据量过大时导致缓存击穿，进而引起性能下降等问题。
ZBS 采用统一缓存空间的机制，并通过 2 级 LRU 算法对冷热数据进行管理，在充分利用缓存容量的同时避免了因访问量激增导致虚拟机性能下降的情况。
本文基于相同的硬件配置和 I/O 读写场景，分别测试 VMware 超融合（vSphere 虚拟化 + vSAN 分布式存储）写入 300 GB 数据、SMTX OS（ELF + ZBS）写入 500 GB 数据时虚拟机的性能表现。结果显示，vSAN 7 难以充分利用缓存介质，发生缓存击穿，导致存储性能下降；而 SMTX OS 即便在写入更多数据的情况下也未发生缓存击穿，虚拟机性能保持稳定。
场景问题
混闪配置是超融合或分布式存储现阶段的主流落地模式。混闪配置是指机器中的磁盘使用 SSD + HDD 混合组成，其中 SSD 磁盘作为数据缓存层，而 HDD 磁盘作为数据容量层。以该模式构建的分布式存储池通过软件算法进行冷热数据自动判断，在提供高性能的同时，还可获得较大的存储容量，进而提升资源利用率，获得相对全闪存储更高的性价比。
在将 SSD 磁盘用作数据缓存层时，部分超融合产品会将缓存容量（Cache）划分为读和写各自独立的两部分。例如，vSAN 7 及更早版本会将每个磁盘组（Disk Group）中的缓存磁盘，按照容量占比划分为写缓冲区（30%）和读缓存区（70%），当读取数据未命中缓存或者写缓存已满，将会直接从容量层进行读写。
注：对于全闪配置的磁盘组，可以将全部缓存盘容量（100%）用于写缓存，不再设置读缓存区。
这种划分读写的方式，虽然可以保障读写 I/O 的缓存击穿空间隔离，但经常导致无法充分利用高速存储介质的缓存空间。例如，在业务虚拟机写数据较多、读数据较少的场景，可能作为写入数据的缓存容量已经被占满，但是读缓存空间还有很多容量没有被使用，反之亦然。
以医疗客户的集成平台建设为例，集成平台通过将各个系统产生的数据集中存储并重新组织，形成医院的数据仓库，帮助医院挖掘数据价值、形成智能化决策，进而加快数字化转型。集成平台通过 ETL 工具，从现有医疗业务系统（如 HIS、EMR 和 LIS 等）的数据库直接抽取数据并进行转换、加载。该过程都发生在中间数据库中，最大程度降低对生产数据库的影响。此时中间数据库会有大量的数据进行写入，使得缓存空间容易被填满，而如果读写缓存采用固定容量分配，就可能会发生写入数据量 > 写缓存空间容量，进而导致缓存击穿、业务访问性能下降。大型三甲医院集成平台平均每天需要处理 900 万条消息，要求峰值处理能力需达到 1000 TPS，存储性能不足易导致整个业务系统卡顿，严重情况下甚至会宕机，因此非常考验基础架构 I/O 吞吐能力。
针对这一问题，ZBS 使用统一的缓存空间，不划分读写，所有缓存层容量均被使用，不易出现缓存空间不足从而影响存储性能的情况。同时，通过冷热数据分层技术，依据数据的访问频率，将频繁读写的热数据放置在 SSD 中、长时间无读写的冷数据放置在 HDD 中，有效提升数据缓存层利用率，保证业务高性能稳定运行。
为了让读者更直观地感受到不同的缓存机制对性能的影响，本文将分别介绍 VMware 和 SmartX 分布式存储缓存机制的原理，并测试对比数据写入场景中两种缓存机制下虚拟机性能表现。
技术实现
1.vSAN
vSAN 7 使用磁盘组（Disk Group）将高性能存储介质（如 NVMe / SATA SSD）与低性能存储介质（如 SATA / SAS HDD）组成逻辑存储空间，并通过网络 RAID 功能保障数据可靠性。
每台 ESXi 主机可创建 5 个磁盘组，每个磁盘组中至多仅支持 1 块高性能存储介质与 1 ~ 7 块低性能存储介质组合构成。其中高性能存储介质作为缓存层，并以 7 : 3 容量比例划分为读和写的空间使用，虚拟机在进行数据 I/O 访问时，可使用到其中单个磁盘组的缓存空间。低性能存储介质作为容量层，保存因访问频率较低从缓存层回写（Write Back）的冷数据。
当数据写入写缓存空间后，会基于电梯算法（Elevator Algorithm），周期性地将数据回写到容量层，从而保障缓存层有充足的容量支持后续 I/O 的数据请求。当写缓存空间不足时，会直接写入到容量层。冷数据被读取访问时，会将其加载进入读缓存空间中，缓存空间不足时将直接访问持久化缓存层。
另外，vSAN 7 的缓存数据仅能用于本磁盘组，且缓存数据没有冗余。
2.ZBS
ZBS 在以混闪模式部署的时候会要求选择至少 2 块 SSD 作为缓存容量（Cache），并通过 2 级 LRU（Least Recently Used）算法进行判定、管理数据冷热程度。
在 Cache 中，数据会被划分为 4 种状态，分别是 Active、Inactive、Clean 和 Free。
Active：用来记录访问最频繁和“冷转热”的数据，是 Cache 中“最热”的数据。
Inactive：用来记录首次写入和短时间未访问的数据，是 Cache 中“次热级”的数据。
Clean：用来记录长时间未访问的数据，是 Cache 中的“冷”数据，且数据已经完成了 HDD 落盘。
Free：用来记录未使用或被回收的数据，是 Cache 中闲置的数据空间。
（1）通过 2 级 LRU 链表来管理数据冷热程度
首次进行数据写入时，由于 Cache 中没有数据，会从 Free 中请求未使用的数据空间，数据写入完成后将被记录为 Inactive。
Active 中记录了被访问过多次的数据块，当 Active 的数据超过 Inactive 后，将 Active 数据按照被访问的先后顺序进行排序，不经常被访问的数据会转移记录到 Inactive 中，直到两者的容量相同。
同时当 Active 和 Inactive 的数据容量超过 Cache 空间的 20% 之后， Inactive 数据将开始触发落盘操作，按照时间先后顺序进行排序，排名靠前的早期数据会被写入到 HDD 并在缓存层中被标记为 Clean（此时 Clean 数据在 HDD 和 Cache 中各有一份），后续当 Clean 数据有访问请求时会被重新标记为 Active，否则将被回收为可用空间供写入新数据使用。
（2）不同数据读写场景的处理机制
数据写入场景
Cache 命中写入 Cache 空间并根据当前数据状态发生“冷热”变化。
Cache 未命中Cache 未满，写入 Cache 中的闲置空间。 Cache 已满，写入容量层中。
数据读取场景
Cache 命中系统收到读请求，通过元数据优先查找本地节点 Cache 是否命中请求数据，如果数据在 Cache（Active、Inactive、Clean）中，数据将直接从 Cache 中读取。
Cache 未命中Cache 未满系统会查询本地 Data（容量层）中是否有请求数据，如果有则转向本地容量层请求数据的副本。向本地容量层请求数据的副本，并不是直接读取容量层上的数据，而是首先查询本地 Cache 是否有富余空间，如果 Cache 空间充足，请求数据副本会先从本地容量层中载入到 Cache 中，然后通过 Cache 读取数据，并返回数据读取成功。Cache 已满系统收到读请求，当发现请求数据副本没有在本地 Cache，并且这个时候，本地 Cache 空间已经没有富余空间，请求数据副本会直接从容量层中读取。
测试验证对比
1.测试环境
（1）硬件环境
对比测试时采用相同的硬件环境，均使用 3 台 Dell PowerEdge C6420 服务器 ，每台硬件配置如下：
（2）软件版本
2.测试方法
通过 FIO 测试工具，分别在 vSAN 中写入 300 GB 数据、在 SMTX OS 中写入 500 GB 数据，观察虚拟机性能监控视图的数据表现和变化。
3.测试结果
（1）vSAN
SSD 单盘容量 894.25 GB，读缓存 620.61 GB，写缓存 268.28 GB，读写缓存容量比例为 7:3，符合《VMware vSAN Design Guide》中的描述。
在 256K 顺序写 300 GB 数据测试中，由于缓存空间不足，发生写缓存击穿，性能发生下降，从 280 MB 降低到 75 MB 左右。
在 4K 随机写 300 GB 测试中，同样由于缓存击穿导致了很大的性能下降，IOPS 从 37176 跌落至 16060。
通过上面的测试可以发现，vSAN 7 采用读写缓存空间各自独立，在容量较大的数据请求场景中存在缓存介质无法充分利用的情况，容易发生缓存击穿导致存储性能下降。
（2）ZBS
从缓存容量监控视图可以看出每个节点均有 1.5 TiB 的缓存容量可使用（不区分读写缓存），即 2 块 ~900GB SSD 的可用缓存容量。
首先使用 FIO 在测试虚拟机中 256K 顺序写入 500 GB 数据，观察虚拟机的性能变化。
通过虚拟机性能监控视图可以发现，FIO 测试虚拟机无性能波动，一直处于缓存 100% 命中状态。此时首次写入的 500 GB 数据保存在 Inactive。
再次测试 4K 随机写入 500 GB 数据，观察发现性能依然保持稳定，缓存未击穿。
从上述对比可以发现，在相同的数据容量和 I/O 读写场景中，SMTX OS 能够更好地利用缓存容量空间，即使发生大容量的数据突发请求也不易发生缓存空间击穿导致虚拟机性能下降，进而更好地保障业务稳定运行。
总结
与 vSAN 7 划分读写的缓存机制相比而言，ZBS 在处理数据请求时，通过统一缓存空间的方式，提升了缓存利用率，即使面对业务突发性数据写入和访问激增场景，也能很好地保障业务性能需求。同时，ZBS 采用 2 级 LRU 算法将数据划分为多种热度级别，可对冷热数据进行生命周期管理，缓存层也支持使用多种存储介质（SATA SSD、NVMe SSD 等），用户可根据不同业务的性能需求灵活选择，节省硬件投入成本，获得更高的性价比。
本文参考文档：
1.VMware vSAN Design Guidehttps://core.vmware.com/resource/vmware-vsan-design-guide
2.SMTX ZBS 块存储服务技术白皮书
https://www.smartx.com/resource/doc/general-zbs-white-paper
3.Virtual SAN Read IO – cache / buffer / spindleshttps://www.yellow-bricks.com/2014/01/15/virtual-san-read-io/
4.An overview of VMware Virtual SAN caching algorithmshttps://www.vmware.com/files/pdf/products/vsan/vmware-virtual-san-caching-whitepaper.pdf
5.Announcing vSAN 8https://blogs.vmware.com/virtualblocks/2022/08/30/announcing-vsan-8-with-vsan-express-storage-architecture/
6.医院集成平台 IT 基础架构需求分析与方案选型
https://www.smartx.com/blog/2021/06/hospital-integration-platform/
点击了解 SmartX 超融合基础设施及 SMTX Halo 一体机产品介绍。
————————————————
版权声明：本文为CSDN博主「志凌海纳SmartX」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43696211/article/details/126889412
页:
[1]