服务器虚拟化对存储性能的影响分析

network

存储系统的瓶颈，主要体现在2个方面：吞吐量与IOPS。

名词解释：

吞吐量

英文：throughput，即单位时间内读取或者写入数据量的大小。

IOPS

英文全拼：Input/Output Operations Per Second，即每秒进行读写（I/O）操作的次数，多用于数据库等场合，衡量随机访问的性能。

存储端的IOPS性能和主机端的IO是不同的，IOPS是指存储每秒可接受多少次主机发出的访问，主机的一次IO需要多次访问存储才可以完成。例如，主机写入一个最小的数据块，也要经过“发送写入请求、写入数据、收到写入确认”等三个步骤，也就是3个存储端访问。

下面对吞吐量与IOPS分布进行分析。
1、吞吐量(throughput)
吞吐量主要取决于阵列的构架，光纤(FC SAN)或网络(IP SAN)通道的大小以及硬盘的个数。阵列的构架与每个阵列不同而不同，他们也都存在内部带宽(类似于pc的系统总线)，不过一般情况下，内部带宽都设计的很充足，不是瓶颈的所在。
光纤通道的影响还是比较大的，如数据仓库环境中，对数据的流量要求很大，而一块2Gb的光纤卡，所能支撑的最大流量应当是2Gb/8(小B)=250MB/s(大B)的实际流量，当4块光纤卡才能达到1GB/s的实际流量，所以数据仓库环境可以考虑换4Gb的光纤卡。
最后说一下硬盘的限制，这里是最重要的，当前面的瓶颈不再存在的时候，就要看硬盘的个数了，我下面列一下不同的硬盘所能支撑的流量大小：
10 K rpm 15 K rpm ATA
——— ——— ———
10M/s 13M/s 8M/s
那么，假定一套存储有120块15K rpm的光纤硬盘，那么该存储可以支撑的最大流量为120*13=1560MB/s，如果是2Gb的光纤卡，可能需要6块才能够，而4Gb的光纤卡，3-4块就够了。
2、IOPS(Input/Output Operations Per Second)
决定IOPS的主要取决与阵列的算法，cache命中率，以及磁盘个数。阵列的算法因为不同的阵列不同而不同，如我们最近遇到在hds usp上面，可能因为ldev(lun)存在队列或者资源限制，而单个ldev的iops就上不去，所以，在使用这个存储之前，有必要了解这个存储的一些算法规则与限制。
cache的命中率取决于数据的分布，cache size的大小，数据访问的规则，以及cache的算法，如果完整的讨论下来，这里将变得很复杂，可以有一天好讨论了。我这里只强调一个cache的命中率，如果一个阵列，读cache的命中率越高越好，一般表示它可以支持更多的IOPS，为什么这么说呢?这个就与我们下面要讨论的硬盘IOPS有关系了。
硬盘的限制，每个物理硬盘能处理的IOPS是有限制的，如
10 K rpm 15 K rpm ATA
——— ——— ———
100 150 50
同样，如果一个阵列有120块15K rpm的光纤硬盘，那么，它能撑的最大IOPS为120*150=18000，这个为硬件限制的理论值，如果超过这个值，硬盘的响应可能会变的非常缓慢而不能正常提供业务。
在raid5与raid10上，读iops没有差别，但是，相同的业务写iops，最终落在磁盘上的iops是有差别的，而我们评估的却正是磁盘的IOPS，如果达到了磁盘的限制，性能肯定是上不去了。
那我们假定一个case，业务的iops是10000，读cache命中率是30%，读iops为60%，写iops为40%，磁盘个数为120，那么分别计算在raid5与raid10的情况下，每个磁盘的iops为多少。
raid5:
单块盘的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120
= (4200 + 16000)/120
= 168
这里的10000*(1-0.3)*0.6表示是读的iops，比例是0.6，除掉cache命中，实际只有4200个iops
而4 * (10000*0.4) 表示写的iops，因为每一个写，在raid5中，实际发生了4个io，所以写的iops为16000个
为了考虑raid5在写操作的时候，那2个读操作也可能发生命中，所以更精确的计算为：
单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120
= (4200 + 5600 + 8000)/120
= 148
计算出来单个盘的iops为148个，基本达到磁盘极限
raid10
单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120
= (4200 + 8000)/120
= 102
可以看到，因为raid10对于一个写操作，只发生2次io，所以，同样的压力，同样的磁盘，每个盘的iops只有102个，还远远低于磁盘的极限iops。
在一个实际的case中，一个恢复压力很大的standby(这里主要是写，而且是小io的写)，采用了raid5的方案，发现性能很差，通过分析，每个磁盘的iops在高峰时期，快达到200了，导致响应速度巨慢无比。后来改造成raid10，就避免了这个性能问题，每个磁盘的iops降到100左右。
————————————————

network

决定IOPS的主要取决与阵列的算法，cache命中率，以及磁盘个数。阵列的算法因为不同的阵列不同而不同，如我们最近遇到在hds usp上面，可能因为ldev(lun)存在队列或者资源限制，而单个ldev的iops就上不去，所以，在使用这个存储之前，有必要了解这个存储的一些算法规则与限制。
cache的命中率取决于数据的分布，cache size的大小，数据访问的规则，以及cache的算法，如果完整的讨论下来，这里将变得很复杂，可以有一天好讨论了。我这里只强调一个cache的命中率，如果一个阵列，读cache的命中率越高越好，一般表示它可以支持更多的IOPS，为什么这么说呢?这个就与我们下面要讨论的硬盘IOPS有关系了。[1]
硬盘的限制，每个物理硬盘能处理的IOPS是有限制的，如
10 K rpm 15 K rpm ATA
——— ——— ———
100 150 50
同样，如果一个阵列有120块15K rpm的光纤硬盘，那么，它能撑的最大IOPS为120*150=18000，这个为硬件限制的理论值，如果超过这个值，硬盘的响应可能会变的非常缓慢而不能正常提供业务。
在raid5与raid10上，读iops没有差别，但是，相同的业务写iops，最终落在磁盘上的iops是有差别的，而我们评估的却正是磁盘的IOPS，如果达到了磁盘的限制，性能肯定是上不去了。
那我们假定一个case，业务的iops是10000，读cache命中率是30%，读iops为60%，写iops为40%，磁盘个数为120，那么分别计算在raid5与raid10的情况下，每个磁盘的iops为多少。
raid5:
单块盘的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120
= (4200 + 16000)/120
= 168
这里的10000*(1-0.3)*0.6表示是读的iops，比例是0.6，除掉cache命中，实际只有4200个iops
而4 * (10000*0.4) 表示写的iops，因为每一个写，在raid5中，实际发生了4个io，所以写的iops为16000个
为了考虑raid5在写操作的时候，那2个读操作也可能发生命中，所以更精确的计算为：
单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120
= (4200 + 5600 + 8000)/120
= 148
计算出来单个盘的iops为148个，基本达到磁盘极限
raid10
单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120
= (4200 + 8000)/120
= 102
可以看到，因为raid10对于一个写操作，只发生2次io，所以，同样的压力，同样的磁盘，每个盘的iops只有102个，还远远低于磁盘的极限iops。
在一个实际的case中，一个恢复压力很大的standby(这里主要是写，而且是小io的写)，采用了raid5的方案，发现性能很差，通过分析，每个磁盘的iops在高峰时期，快达到200了，导致响应速度巨慢无比。后来改造成raid10，就避免了这个性能问题，每个磁盘的iops降到100左右。

network

回复 12# network VMware view桌面虚拟化IOPS计算方法2015-04-08
分类：Horizon view
阅读(1198)        评论(0)

1、磁盘转速与IOPS对应关系：

Disk Speed:Random IOPS:备注
参考一：
15,000:150:每块磁盘
10,000:110:每块磁盘
5,400:50:每块磁盘

参考二：
FC 15K RPM:180
FC 10K RPM:140
SAS 15K RPM:180
SAS 10K RPM:150
SATA 10K RPM:90
SATA 7.2K RPM:80
SATA 5.4K RPM:60
Flash drive:2500

2、Raid损耗(Read写惩罚)

RAID Level:Write Cost（Read惩罚）
RAID 0 : 0
RAID1 or RAID10 : 2
RAID 10 : 2
RAID 5 : 4
RAID 6 : 6

物理磁盘总的IOPS =
物理磁盘的IOPS ×
磁盘数目
可用的IOPS =
（物理磁盘总的IOPS ×
写百分比
÷ RAID写惩罚）
+
（物理磁盘总的IOPS ×
读百分比）

3、一般活动的iops

Activity:IOPS
Startup:26
Logon:12.5
Working:8
Logoff:10.7

工作中分：
轻量: 4-8:IOPS
普通: 8-12:IOPS
重量: 12-20:IOPS

4、IOPS需求计算

IOPS需求=虚拟机数量*每个虚拟机需要的IOPS

我们可以按照经常进行的登录场景，终端登录虚拟机的IOPS需求计算，并发登录虚拟机的IOPS。
如启动虚拟机的IOPS需求为12.5，总计有40个虚拟机，则IOPS总量为40*12.5=500个IOPS。

5、根据磁盘的IOPS计算不同类型的磁盘需要的磁盘数量

我们需要知道

IOPS总量=磁盘数量*每块磁盘的IOPS

如6块15K SAS的IOPS总量为6*150=900个IOPS。
另外，我们还需要知道用户的一些读写比例，一般情况我们按照读的比例80%，写的比例20%计算。
则我们实际给到用户的IOPS计算方式

用户IOPS=（IOPS总量*写的比例）/raid损耗+（IOPS总量*读的比例）

上述我们的例子的实际给到用户的IOPS（我们按照raid10作为计算）为：（900*20%）/2+900*80%=810.
那么，40用户iops和=12.5*40=500 我们810〉500,所以用户在做正常登录时，6块硬盘做raid10是可以满足需求的。
但如果在虚拟机关闭的情况下，去做登录则需要26*40，则需要1000多个IOPS，则无法满足需求。需要增加硬盘方可满足需求。

这个计算会帮助确定当所有的桌面执行同样行为时候的可能性，当然，不是所有的情况都适合。实际上，在不同的hypervisor 上，不同的虚拟机状态可能是不一样的。因此，作为一个架构师来说，你需要根据不同桌面的综合体验来计算不同的服务器需求。根据计算，很有可能你都会发现可能你根本不需要SAN，使用本地硬盘就足够了！