iSCSI转发Ceph存储的性能影响因素评价.pdf
《iSCSI转发Ceph存储的性能影响因素评价.pdf》由会员分享,可在线阅读,更多相关《iSCSI转发Ceph存储的性能影响因素评价.pdf(6页珍藏版)》请在咨信网上搜索。
1、 2023 年第 8 期79计算机应用信息技术与信息化iSCSI 转发 Ceph 存储的性能影响因素评价陶锐哲1 谢涛涛1 尹 萍1 田 雨1 韩 同1TAO Ruizhe XIE Taotao YIN Ping TIAN Yu HAN Tong 摘要 在大规模云计算平台中,裸金属服务器使用分布式存储(如 Ceph)的应用场景十分广泛。为了确保分布式存储系统的网络安全隔离,必须通过 iSCSI 协议对 Ceph 存储进行转发。然而,目前业界对于这种使用场景的性能评价尚不充分。本文旨在建立一个基准测试系统,以评估在不同条件下通过iSCSI 协议转发 Ceph 存储时的性能指标参数,并分析出关键的
2、性能影响因素。本研究将重点考虑存储网关的网络带宽、缓存算法以及存储协议栈对性能的影响。通过综合分析,我们得出以下结论:提升网络链路带宽、水平拓展存储网关、采用高效的缓存算法以及优化存储协议栈,能够有效提高裸金属服务器使用 iSCSI 协议转发 Ceph 分布式存储的性能。关键词 大规模云计算平台;Ceph 分布式存储;iSCSI 协议转发;存储网关;性能评价doi:10.3969/j.issn.1672-9528.2023.08.0171.浪潮云信息技术股份公司 山东济南 2501010 引言随着云计算领域的发展,越来越多的使用场景需要使用到裸金属服务器1。云计算平台的计算领域包括虚拟化服务器
3、与裸金属服务器,其中计算虚拟化服务器在硬件层面存在安全性隐患2,当多台虚拟机部署在同一个物理节点,硬件资源的共享会带来侧信道攻击(side-channel)的风险。因此,裸金属服务器的物理节点独占特性可确保硬件安全,通常用来部署大数据集群、高性能计算集群、数据库集群等高安全要求与高性能要求的应用。1 存储协议转发1.1 分布式存储的网络安全隔离但是裸金属服务器仅仅使用物理节点本地存储介质无法满足要求,比如 Oracle RAC 集群就要求数据卷的共享读写。因此为裸金属服务器提供分布式存储支持能力很有必要。对于现有虚拟化云平台,复用已有的分布式存储方案为裸金属提供远程块存储服务,是一种合理有效的
4、解决方案。在典型的分布式存储使用场景中(如 Ceph),往往存在租户安全隔离与性能的顾虑,Ceph 块存储服务的使用前提是让裸金属服务器与存储集群在相同的二层网络中,对于多个租户同时使用时,其存储网络安全性无法保证。因此裸金属云使用分布式存储需要首先解决安全问题。1.2 iSCSI 存储协议转发为了实现多租户场景下的存储网络安全,通常情况下裸金属服务器与分布式存储后端集群是解耦的。因此,通过存储网关在裸金属服务器和分布式存储集群之间进行存储数据的转发处理,可以实现多租户场景下的存储网络安全。ISCSI(internet small computer systems interface)是一种可
5、提供远程块存储设备访问的 SCSI 协议实现。目前 Linux 内核中默认的 iSCSI Target 实现是 Linux IO3,通过 Confi gfs 文件系统访问内核接口,完成 SCSI Target 的创建以及数据读写。开源社区对于 Ceph 分布式存储4-5提供了基于 iSCSI 协议的 Ceph Rados Block Device(RBD)的块存储转发方案,即 Ceph iSCSI Gateway。该方案的本质是将基于网络流的数据读写转换为 SCSI 读写,并将 RBD 块存储映射为 SCSI Target。通过使用iSCSI协议,远程主机可以读写RBD块设备,从而使裸金属服务
6、器既可以使用 Ceph 块存储,同时确保多租户之间的安全性。前人已经讨论多种 iSCSi 协议实现方案6,包括:(1)Linux IO(LIO):是 Linux 内 核 默 认 的 SCSI Target 实现,支持 iSCSI 协议。存储 I/O 数据经由内核 RBD块设备层,SCSI 层,内核 iSCSI 协议栈,网络协议栈的处理,是一种完全在内核进行的 SCSI Target 实现;(2)Ceph iSCSI Gateway(Gateway):是用户态的 LIO,存储 I/O 数据由用户态 librbd 接收并处理,然后通过 UIO 框架实现在用户空间的 SCSI 命令读写7-8;(3)
7、STGT(以下简称 TGT):曾经的默认内核 SCSI Target 实现,支持多种后端存储,其iSCSI 协议栈的实现独立于内核代码,因此理解为用户空间2023 年第 8 期80计算机应用信息技术与信息化的 iSCSI 协议栈实现;(4)SPDK iSCSI Target(SPDK):由Intel 开源的软件定义存储实现方案,特点是存储 I/O 的处理都在用户空间完成,可完成多存储后端的高性能存储协议转发,如 iSCSI 协议转发 Ceph 存储,是一种绕过内核 9-10的实现。1.3 存储性能影响因素对于存储 I/O 协议栈来说,需要分别考虑两个方面。对于 Ceph 存储栈而言,有两种块存
8、储的使用方式:(1)通过内核模块 krbd 实现在内核中进行数据读写;(2)通过用户态的 librbd,将存储栈移入用户空间进行处理。而对于 iSCSI协议栈而言,也存在内核态实现和用户态实现的区别。例如,LIO 是完全在内核中进行 I/O 转发的实现,而 Gateway 方案将 SCSI 命令的访问和处理移至用户空间。这两种方案的主要区别在于 I/O 路径的不同.从系统调用的角度来看,一次存储数据读写操作需要在用户空间和内核空间之间进行多次数据拷贝。然而,需要明确的是,内核态转发和用户态转发并没有绝对的优劣之分,而是根据存储协议栈转发路径,明确性能损耗的主要影响因素,并通过协议优化或架构优化
9、的方式对协议栈实现进行优化,以实现整体性能的提升。如上所述,iSCSI 存储转发会带来性能损耗,会影响包括 IOPS、IO 时延、读写吞吐量等性能指标。因此,虽然其提供了裸金属服务器与分布式存储后端集群的网络安全隔离,但是在关键性能影响因素上仍不明确。综上,本文的核心目标是建立一种基准测试方法,衡量iSCSI存储转发实现方案的存储转发性能,然后基于测试结果,讨论影响存储转发的影响因素与对应的优化方向。在测试过程中,统计测试节点的并发节点数、存储时延、吞吐量、IOPS、存储网关资源消耗(CPU时间片占用),作为性能评价指标。2 存储性能评价系统为了准确评估存储转发性能,本文提出一种测试评价系统,
10、用来量化分布式存储转发方案的性能。首先,构建分为三层的测试系统:(1)存储后端层:对应云计算平台的分布式存储后端集群。这里使用分布式存储 Ceph 提供 RBD 块存储,作为存储后端;(2)协议转发层:对应转发分布式存储协议的存储网关。一般地,存储网关基于 iSCSI 协议对后端存储数据进行转发,存储网关节点可认为是一台独立部署的物理服务器,专门地用于存储协议转换(以下简称存储网关);(3)测试节点层:对应云平台的多台裸金属服务器。裸金属服务器发起的数据读写请求会通过存储网关进行转发,由于存在多个节点并发读写的场景,因此建立多个测试节点进行并发场景模拟。考虑到单个测试节点的数据存在系统误差,为
11、了消除误差,建立测试集群来模拟并发 I/O 的场景,基础参数与硬件参数表如表 14 所示。m 测试节点均匀分布在 N 台计算节点上。M台测试节点分别挂载对应iSCSI块设备,运行fi o(fl exible IO)工具进行数据读写测试,所有读写数据通过存储网关进行协议转发。表 1 基础参数表指标数量/台裸金属测试节点数量30存储网关节点数量1存储后端服务器数量3表 2 存储网关节点参数表指标参数Series TypeSA5212M4CPUIntel(R)Xeon(R)CPU E5-2650 v4 2.20GHzMemory2666 MT/s*32GB*8Network Interface Ca
12、rdIntel 82599ES 10-GigabitOS infoCentOS 7.6(Kernel version 4.2.0)表 3 存储服务器参数表指标参数Series TypeNF5280M5CPUIntel(R)Xeon(R)Gold 5118 CPU 2.30GHzMemory2666 MT/s*32GB*12Network Interface CardIntel 82599ES 10-GigabitOS infoUbuntu 18.04(Kernel version 5.0.0)表 4 裸金属服务器参数表指标参数Series TypeNF5280M5CPUIntel(R)Xeon
13、(R)Gold 5118 CPU 2.30GHzMemory2666 MT/s*32GB*12Network Interface CardIntel 82599ES 10-GigabitOSUbuntu 18.04(Kernel version 5.0.0)2.1 测试步骤本节旨在构建一种自底向上的基准测试系统,通过对比存储指标的测试结果来分析基于 iSCSI 存储转发的性能关键影响因素。因此,确定合理的测试方法与步骤尤为关键。以下是测试步骤的详细说明:存储性能评价的测试步骤(1)确定 iSCSI 存储转发的基准测试性能:1.1 测试 RBD 块存储在存储网关节点上的 I/O 性能。1.2 测
14、试存储集群到存储网关的网络带宽。1.3 测试存储集群到测试节点的网络带宽。(2)单个测试节点作为 iSCSI initiator,测试经由存储网关转发的RBD 块存储读写性能。(3)多个测试节点作为 iSCSI initiator,测试 I/O 并发时的 RBD 块存储读写性能。(4)将存储网关的 iSCSI 转发实现方案进行替换,测试不同存储转发实现方式的 RBD 块存储读写性能。使用 fi o(fl exible IO)工具完成测试,测试参数包括:4.1 默认参数:IO 队列深度 64、任务开启的作业数量 4、不使用 I/O缓存、总读写数据量 40 GB、运行时间 120 s。4.2 IO
15、PS 测试参数:单次读取块大小为 4 kB。4.3 吞吐测试参数:单次读取块大小为 1 MB。4.4 时延测试参数:单次读取块大小为 4 kB,IO 深度为 1,任务开启的作业数量为 1,不使用 I/O 缓存。2023 年第 8 期81计算机应用信息技术与信息化顺序执行指定测试步骤,最终可得到存储性能测试评价指标,测试数据如图 16 所示,用以分析出影响 iSCSI 存储转发的性能关键影响因素。图 1 4 kB 随机写场景存储时延对比图 2 4 kB 随机写场景存储 IOPS 对比 图 3 4 kB 随机读场景存储时延对比 图 4 4 kB 随机读场景存储 IOPS 对比图 5 1024 kB
16、 顺序读场景存储带宽对比图 6 1024 kB 顺序写场景存储带宽2.2 分类回归树算法通过给定的测试方法,可以获得近 90 000 个数据点,而如何对这些数据进行分析,是这一部分的核心任务。首先,对于一组存储测试数据而言,会存在系统误差与随机误差。因此对于明显偏移正常规律的数据点进行筛选与清洗。因此,通过基于聚类的离群点筛选方法,首先聚类所有对象,然后评估对象属于簇的程度(离群点得分),用对象到它的簇中心的距离来度量属于簇的程度。通过筛选出不可用的测试数据,以避免对分析结果产生错误影响。其次,对数据进行拟合分析。如果对数据进行最小二乘法拟合,给定拟合函数,找到一组参数组合,使得预测值与测量值
17、的残差平方和最小。但得到的预定义的拟合函数与实际数据差距很大,整体拟合效果较差;而回归决策树算法不需要预定义拟合函数,避免人为因素的干扰。分类回归树(classifi cation and regression tree,CART)模型由 Breiman 等人在 1984 年提出11-12,是应用广泛的决策树学习方法。对于一组待拟合数据集合,将所有测试数据输入划分为M个单元,则预测值是单元内所有数据之和,有:D=(x1,y1),(x2,y2),(xn,yn)(1)确定输入单元后,使用残差平方和表示每棵回归树与已有数据的预测误差,最终目标函数是回归树与已有数据的预测误差和最小。对每个解单元,递归
18、求取每个解单元的平均输出值:2023 年第 8 期82计算机应用信息技术与信息化 (2)合并所有解单元的平均输出值后,可以将回归树模型收敛为:(3)根据递归深度不同,可以建立不同回归程度的决策树函数。基于回归决策树算法,选择合适的递归深度,在保证回归精度的前提下,应当尽量缩短计算时间。经过验证,当回归深度为 4 时,能够得到最优回归精度。3 影响因素分析评价通过 iSCSI 协议转发存储的方式不可避免会带来额外的性能损耗。如何提高 iSCSI 转发 Ceph 存储的性能,是本文关注的重点。因此,本文筛选出以下影响因素:(1)并发能力:当存在多个 iSCSI initiator 同时进行 I/O
19、操作,实现方案的并发能力极大程度上影响转发性能;(2)缓存影响:对于 I/O 设备而言,设置合理 I/O 缓冲区作为设备缓存,可以提高 I/O 性能;(3)网络带宽影响:网络带宽往往限制理论最大性能,而对分布式系统而言,可以通过水平拓展或路径聚合的方式,提高整体系统性能;(4)存储协议栈性能:数据转发路径也会影响到存储系统的性能,包括iSCSI 协议栈的实现方式、程序的执行效率等。由此,对以上关键影响因素的讨论,可以为 iSCSI 转发Ceph 存储的实现方案提供优化思路与方向。基于上文中建立的基准测试系统,本文在(浪潮)云平台对系统的可靠性进行验证,并就可能的影响因素进行讨论。3.1 建立存
20、储性能基线首先在建立基于硬件的 iSCSI 转发性能基线下,性能基线测试在本文中包括网络与存储。测试数据如表 5 所示,通过测试当网络实际平均带宽 8 Gbit/s,测试使用物理存储介质SSD 盘,测试在存储网关上直接使用 Ceph RBD 块存储的基准性能数据。表 5 基准性能测试数据(存储网关)测试对象读写类型IOPS吞吐/(MBs-1)Ceph RBD4 kB 随机读29 200 1207 Ceph RBD1024 kB 顺序读30 100 1207 Ceph RBD4 kB 随机写16 900 1172 Ceph RBD1024 kB 顺序写26 900 1142 3.2 缓存算法对存
21、储性能的影响一般地,对于 I/O 设备而言,缓存实现对于数据 I/O 影响很大13。而对于 iSCSI 转发实现方案(如 TGT)而言,其提供了开启写缓存的功能,当写缓存功能开启后,存储吞吐与IOPS 有明显提升,如表 6 所示。表 6 缓存对存储性能参数的影响测试对象写缓存4kB 随机写 IOPS4kB 随机写时延/s1024kB 顺序写吞吐/(MBs-1)1024kB顺序写时延/sGateway iSCSI vol-umedisable4902386951902Gateway iSCSI vol-umeenable36 100152327146分析数据后可得,在 TGT 对 iSCSI 设
22、备开启写缓存后,顺序写吞吐量提高 2.4 倍,时延降低到初始的 7.6%。因此,合理设计缓存算法,会很大程度提高 iSCSI 协议转发 Ceph 存储的性能。但过分依赖 iSCSI 提供的缓存机制,在不可靠的网络环境中,数据丢失的风险也随之升高。因此,一致性算法分布式缓存机制的缓存层算法,是提高存储性能的关键考虑因素。3.3 网络带宽对存储性能的影响可以理解,本质上 iSCSI 协议与 Ceph 存储都基于 TCP/IP 网络,因此网络带宽是关键性影响因素。这里将网络带宽的讨论范围限定在两条存储数据的传输路径上。路径 1:Ceph 存储集群到存储网关的带宽。在性能指标基线中,给出 TCP 带宽
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- iSCSI 转发 Ceph 存储 性能 影响 因素 评价
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。