主要硬盘厂商发布了一个 技术简介 详细介绍了使用12TB的4节点集群中的Ceph性能.5”SATA硬盘和一个NVMe附加卡SSD用于Bluestore. 对两种解决方案进行了测试 雷达手表的长椅上Ceph的工具，用于测量来自客户端或S3网关的对象吞吐量. 本报告中详细介绍了一些架构差异, 但即使把这些考虑在内, Ceph与微米6500离子和Ceph与HDD + NVMe之间的差异是巨大的.
• 微米6500离子Ceph配置的读性能是前者的11倍，写性能是后者的27倍.
• 硬盘+ NVMe Ceph的读延迟提高了8倍，写延迟提高了37倍.
• Micron 6500基于离子的Ceph集群每可用TB的性能更高, 每TB读性能提高4倍，每TB写性能提高10倍.
功率效率
• Micron 6500基于离子的Ceph具有两倍的存储功率效率(瓦特/TB或W/TB)，而读取功率/吞吐量高出16倍，写入功率/吞吐量高出46倍.
Cost
• 这两种解决方案的每个可用容量成本大致相当，因为NVMe存储的性能要高得多. 一个人可以在这个规模的全nvme集群中使用4+2擦除编码, 但不建议在硬盘上做同样的事情, 需要3倍的复制.
- 需要16个硬盘+ NVMe Ceph节点才能匹配6节点微米6500离子Ceph配置的可用容量(添加简化公式以验证声明).
- 还需要68个硬盘节点来匹配6个节点的微米6500离子Ceph读性能，需要161个硬盘节点来匹配微米6500离子Ceph配置写性能(添加简化公式来验证声明)。.
|
||||||||||||||||||||||||
|
*用于NVMe测试, 与3倍复制相比，4+2 erasure编码的读性能降低了15%，写性能提高了27%. 有关详细信息，请参阅以下美光技术简介: 低延迟NVMeTM ssd解锁高性能，容错Ceph®对象存储
详细的结果
因为HDD + NVMe测试使用更少的节点和3倍的复制，而不是4+2的擦除编码, 我们想通过考虑这些差异来平衡比较.
节点差异(Node perf. 乘数):
• 我们将HDD + NVMe带宽结果乘以1.5模拟6节点配置(假设性能线性扩展).
• 我们保持平均延迟与硬盘技术简报中报告的相同.
数据保护差异(数据保护性能). 乘数):
• 读性能:4+2擦除编码对集群的读性能有15%的损失. 我们没有改变Micron 6500离子测试的结果(增加), 我们也没有降低HDD + NVMe配置的性能数字. 这种方法将有利于HDD配置.
• 写性能:在全nvme测试中，4+2擦除编码比3倍复制的性能提高了27%. 虽然我们不相信同样水平的性能是可以实现的硬盘, 我们将HDD结果乘以1.27来解释潜在的增长. 这种方法也有利于HDD配置.
数据保护性能增量由美光测量，可以找到更多细节 here.
读写性能
美光6500 ION Ceph配置有11个.读性能提高5倍，写性能提高27倍.
|
|
Node Perf. |
数据保护 |
Measured |
读带宽(MB/s) |
Measured |
写带宽(MB/s) |
|
硬盘+ NVMe Ceph |
1.5 |
1.27 |
3055 |
4,583 |
506 |
964 |
|
微米6500离子Ceph |
1 |
1 |
52,540 |
52,540 |
25,800 |
25,800 |
|
Difference |
|
|
|
11x |
|
27x |
Latency
硬盘+ NVMe Ceph配置的读延迟是6500 ION Ceph配置的8倍，写延迟是6500 ION Ceph配置的37倍.
|
衡量存储性能和效率的一个指标是每TB可用的性能量. 在这里，我们以MB/s为单位测量原始容量和可用容量的吞吐量.
|
|
可用的容量 |
读带宽(MB/s) / TB |
写带宽(MB/s) / TB |
|
硬盘+ NVMe Ceph |
192TB |
16 |
3.3 |
|
微米6500离子Ceph |
760TB |
69 |
34 |
|
Difference |
|
4x |
10x |
权力画
硬盘技术简报显示12TB硬盘的拉力为7.每个驱动器25W，或4节点解决方案的存储组件348W. 对于微米6500离子，我们在读取测试期间测量的平均磁盘吞吐量为1.5GB/s，写入速度为1.2GB/s，并计算在这些性能水平下每个驱动器的功耗. 结果是10。.读1W, 10 w.6W写. 由于硬盘只有一个功耗数字，我们选择了较高的10.6W的结果进行比较.
|
Power (W) |
Per Drive |
Per Node |
每个集群:6个节点 |
|
HDD 12TB |
7.25 |
87 |
522 |
|
微米6500离子 |
10.6 |
64 |
382 |
|
Difference |
1.5x |
0.7x |
0.7x |
30TB 微米6500离子使用1.每个驱动器的功率是12TB硬盘的5倍. 因为容量的变化, 美光6500 ION Ceph解决方案每个节点的HDD + NVMe功耗为原来的70%.
容量功率效率(W/TB)
功耗是衡量存储解决方案效率的一个很好的指标. HDD简报报告了Ceph解决方案中仅HDD JBOD部分的平均瞬时功耗, 不考虑CPU的功耗, 用于Ceph存储节点的内存和网络.
对于微米6500离子配置, 我们根据吞吐量计算了每个驱动器的功耗:10.读取1 w(在1.2GB/s)和10.6W的写入(在1.5GB/s).
只比较存储组件, 美光6500 ION Ceph配置每TB使用的功率略高于一半, 显示NVMe SSD配置相对于HDD配置的能效.
性能功率效率(W/GBps)
另一个要检查的功率度量是功率除以吞吐量, 告诉我们每GBps传输的解决方案的节能程度. 这里我们继续用10.每个驱动器读取1W和10w.在微米6500离子和上述的7上，每个驱动器的写入功率为6W.12TB硬盘25W的功耗.
当考虑功率和性能时, HDD + NVMe配置的读和写功耗分别是原来的16倍和46倍.
解决方案成本分析
使用全nvme Ceph配置可以在生产中使用擦除编码. 对于HDD，仍然强烈建议使用3x复制. 当考虑每个可用容量的成本时, 微米6500离子配置的成本与HDD + NVMe配置的成本相同.
|
以匹配所测试的6节点微米6500离子Ceph配置的可用容量, 一个人需要16个HDD + NVMe节点. 为了匹配读取性能，这个人将需要68个HDD + NVMe节点. 而要匹配写性能，则需要161个HDD + NVMe节点.
|
结论
美光6500 ION非常适合nvme支持的Ceph对象存储. 当使用擦除编码时，它与HDD的成本相当. HDD上的3x复制.
Ceph中的美光6500离子具有以下几个优点:
- 性能优于硬盘
- 写性能提高27倍，读性能提高11倍
- 写延迟降低37倍，读延迟降低8倍
- 每个可用容量的写吞吐量提高10倍，读吞吐量提高4倍
- 比硬盘更高效
- 每TB驱动器功率减半
- 存储系统功耗的70%, 但这并不能解释美光6500 ION的更高性能
- 每GBps写入功率降低46倍，读取功率降低16倍
- 比硬盘更具成本效益
- 对于6节点的美光6500 ION Ceph配置，需要161个HDD + NVMe节点才能达到写性能，68个节点才能达到读性能
©2023 美光科技有限公司. 版权所有. 此处的所有信息均按“现状”提供，不作任何形式的保证. 沙巴体育结算平台仅保证符合美光的生产数据表规格. 沙巴体育结算平台、程序和规格如有变更，恕不另行通知. 美光科技有限公司. 不负责排版或摄影的遗漏或错误. 美光、美光标识和所有其他美光商标均为沙巴体育安卓版下载的财产. 所有其他商标均为其各自所有者的财产. Rev. A 01/2023 ccm004-676576390-11635
