计算机软件及应用存储基础知识.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/2/5,#,2025/1/13 周一,1,存储分类,封闭系统的存储,开放系统的存储,内置存储,外挂存储,Direct-Attached Storage,直接式存储（,DAS,）,Fabric-Attached Storage,网络存储（,FAS,）,Network-Attached Storage,网络接入存储（,NAS,）,Storage Area Network,存储区域网络（,SAN,）,2025/1/13 周一,2,DAS/SAN/NAS,组网示意图,3,DAS,（,D,irect,A,ttachment,S,torage,）,直接连接存储,：,存储设备是通过电缆（通常是,SCSI,接口电缆）直接连到服务器的。,I/O,请求直接发送到存储设备,应用,服务器,Block I/O,SCSI,协议,Storage,DAS,2025/1/13 周一,4,典型,DAS,结构,5,DAS,分析,连接简单,集成在服务器内部；点到点的连接；距离短；,安装技术要求不高,低成本需求,SCSI,总线成本低,较好的性能,通用的解决方案,DAS,的投资低，绝大多数应用可以接受,DAS,优势,有限的扩展性,SCSI,总线的距离最大,25,米；最多,15,个设备,专属的连接,空间资源无法与其他服务器共享,备份和数据保护,备份到与服务器直连的磁带设备上,硬件失败将导致更高的恢复成本,TCO,（总拥有成本高）,存储容量的加大导致管理成本上升,存储使用效率低,DAS,劣势,6,NAS,（,N,etwork,A,ttachment,S,torage,）,应用,服务器,File I/O,IP,协议,NAS,网络连接存储,：,存储设备连接到现有的网络上，提供数据和文件服务,2025/1/13 周一,7,典型,NAS,结构,8,NAS,的优势,资源共享,构架于,IP,网络之上,部署简单,较好的扩展性,异构环境下的文件共享,易于管理,备份方案简单,低的,TCO,NAS,优势,扩展性有限,一些应用会占用带宽资源,不适应某些数据库的应用,NAS,劣势,9,SAN,（,S,torage,A,rea,N,etwork,）,应用,服务器,Block I/O,FCP,协议,SAN,存储区域网络：,它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。,2025/1/13 周一,10,典型,SAN,结构,11,SAN,的优势,实现存储介质的共享,非常好的扩展性,易于数据备份和恢复,实现备份磁带共享,LAN Free,和,Server Free,高性能,支持服务器群集技术,容灾手段,低的,TCO,SAN,优势,成本较高,需要专用的连接设备如,FC,交换机以及,HBA,SAN,孤岛,技术较为复杂,需要专业的技术人员维护,SAN,劣势,2025/1/13 周一,12,DAS/NAS/SAN,三种形态比较,DAS,NAS,FC-SAN,IP-SAN,传输类型,SCSI,、,FC,IP,FC,IP,数据类型,块级,文件级,块级,块级,典型应用,任何,文件服务器,数据库应用,视频监控,优点,易于理解,兼容性好,易于安装,成本低,高扩展性,高性能,高可用性,高扩展性,成本低,缺点,难以管理，扩展性有限,存储空间利用率不高,性能较低,对某些应用不适合,比较昂贵，配置复杂,互操作性问题,性能较低,2025/1/13 周一,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,14,存储传输的硬件通道有三种：,传输通道,通过以太网线连接,通过,SCSI,线缆连接,通过光纤线缆连接,iSCSI HBA Card,iSCSI,磁盘阵列,SCSI HBA Card,SCSI,磁盘阵列,FC HBA Card,FC,磁盘阵列,以太网线,SCSI,线缆,光纤线缆,主机,GE Card,2025/1/13 周一,15,SCSI,协议,SCSI,是小型计算机系统接口（,Small Computer System Interface,）的简称，主要用于高端系统的连接，现在已完全普及到了小型机及高端服务器。,SCSI,存储是以主机为中心的；一条,SCSI,总线上可以串接多台不同类型的设备。,SCSI,协议,可以划分为,SCSI-1,、,SCSI-2,、,SCSI-3,，最新的为,SCSI-3,，也是目前应用最广泛的,SCSI,版本。,属于,SCSI-3,的,Ultra 320 SCSI,的最高数据传输率已经达到了,320MB/s,。,iSCSI,协议的分层结构,FC,协议的分层结构,iSCSI和FC协议层次比较,2025/1/13 周一,17,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,18,RAID,简介,RAID是廉价冗余磁盘阵列,(Redundant Array of Inexpensive Disks),的简称,名词,说明,分区,又称为,Extent,；是一个磁盘上的地址连续的存储块。一个磁盘可以划分为多个分区，每个分区可以大小不等，有时也称为逻辑磁盘。,分块,又称为,Strip,；将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。分块通常被认为是条带的元素。虚拟磁盘以它为单位将虚拟磁盘的地址映射到成员磁盘的地址。,条带,又称为,Stripe,；是阵列的不同分区上的位置相关的,strip,的集合，是组织不同分区上条块的单位。,软,RAID,RAID,的所有功能都依赖于操作系统（,OS,）与服务器,CPU,来完成，没有第三方的控制,/,处理（业界称其为,RAID,协处理器,RAID Co-Processor,）与,I/O,芯片,硬,RAID,有专门的,RAID,控制,/,处理与,I/O,处理芯片，用来处理,RAID,任务，不需耗用主机,CPU,资源，效率高，性能好。,19,RAID0,：,Striped Disk Array without Fault Tolerance(,没有容错设计的条带磁盘阵列，以条带形式将,RAID,阵列的数据均匀分布在各个阵列中,。,总容量=(磁盘数量)*(磁盘容量),RAID0,（一）,20,优点,缺点,可多,I/O,操作并行处理，,极高的读写效率,速度快，由于不存在校验，所以不占用,cpu,资源,设计，使用与配置简单,无冗余，,一个,RAID 0,的磁盘失败，那么数据将彻底丢失,不能用于关键数据环境,适用领域：,视频生成和编辑,图像编辑,较为“拥挤”的操作,其他需要大的传输带宽的操作,至少需要磁盘数：,2,个,RAID0,（二）,21,RAID 1,：,以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。,总容量=(磁盘数量/2)*(磁盘容量),RAID1,（一）,22,RAID1,（二）,优点,缺点,理论上读效率是单个磁盘的两倍；,100,的数据冗余；,设计、使用简单,ECC,效率低下，磁盘,ECC,的,CPU,占用率是所有,RAID,等级中最高的，在所有成本高；,软,RAID,方式下，很少能支持硬盘的热插拔；,空间利用率只有,1/2,适用领域：,财务统计与数据库,金融系统,其他需要高可用的数据存储环境,至少需要磁盘数,2,个,23,RAID3,(,条带分布,+,专用盘校验,),：,以,xor,校验为冗余方式，使用专门的磁盘存放校验数据，虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上，同时计算出,xor,校验数据存放到校验磁盘上。总容量,=(,磁盘数量,-1)*(,磁盘容量,),RAID3,（一）,24,RAID3,（二）,优点,缺点,相对较高的读取传输率,高可用性，,如果有一个磁盘损坏，对吞吐量影响较小,高效率的,ECC,操作,校验盘成为性能瓶颈,每次读写牵动整个组，每次只能完成一次,I/O,适用领域：,视频生成和在线编辑,图像和视频编辑,其他需要高吞吐量的的场合,至少需要磁盘数,3,个,25,RAID5(,条带技术,+,分布式校验,),：以,XOR,检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。,总容量,=(,磁盘数,-1)*(,磁盘容量,),RAID5,（一）,A0,A1,A2,A3,4PRITY,C0,C1,2PRITY,C2,C3,B0,B1,B2,3PRITY,B3,D0,1PRITY,D1,D2,D3,0PRITY,E1,E2,E3,E4,A,B,C,D,E,26,RAID5,（二）,优点,缺点,高读取速率,中等写速率,异或校验影响存储性能,磁盘损坏后，重建很复杂,适用领域：,文件服务器和应用服务器,OLTP,环境的数据库,WEB,，,E,MAIL,服务器,至少需要磁盘数,3,个,27,RAID6,（二）,优点,缺点,快速的读取性能,更高的容错能力,很慢的写入速度,成本更高,适用领域：,高可靠性环境,至少需要磁盘数：,4,个,28,RAID10,（二）,优点,缺点,高读取速率,高写速率，较校验,RAID,而言，写开销最小,至多可以容许,N,个磁盘同时损坏（,2N,个磁盘组成的,RAID10,阵列）,贵,只有,1/2,的磁盘利用率,适用领域：,要求高可靠性和高性能的数据库服务器,至少需要磁盘数：,4,个,29,RAID50,（二）,优点,缺点,比单个,RAI5,容纳更多的磁盘,比单个,RAID5,有更好的读性能,至多可以容许,n,个磁盘同时损坏（,N,个,RAID5,组成的,RAID50,阵列）,比相同容量的单个,RAID5,重建时间更短,比较难实现,同一个,RAID5,组内的两个磁盘损坏会导致整个,RAID50,阵列的失效,适用领域：,大型数据库服务器,应用服务器,文件服务器,至少需要磁盘数：,6,个,2025/1/13 周一,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,2025/1/13 周一,31,所谓热备份是在建立,RAID,磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。,热备盘分为：全局热备盘和局部热备盘,全局热备盘：针对整个磁盘阵列，对阵列中所有,RAID,组起作用。,局部热备盘：只针对某一,RAID,组起作用。,因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。,热备（,HotSpare,）,2025/1/13 周一,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,2025/1/13 周一,33,逻辑卷快照,(snapshot),D,E,A C,基本概念：,Base Volume,：快照源卷,Repository Volume,：快照仓储卷，保存快照源卷在快照过程中被修改以前的数据,Snapshot Volume,：快照卷,某一个时间点的逻辑卷映像：,逻辑上相当于整个,Base Volume,的拷贝,可将,Sanpshot Volume,分配给任何一台主机,Snapshot Volume,可读取、写入或拷贝,存储空间需求,需要相当于,Base Volume 20%,的额外空间,用途,文件、逻辑卷恢复,备份、测试、数据分析等,2025/1/13 周一,34,W,R,E,P,O,S,I,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y,Z,R,I,T,E,S,首先，在快照完成之前控制器是禁止对源卷进行写操作的。,仓储卷默认是源卷大小的,20%,满足上面条件后，快照过程开始进行,快照,(snapshot),开始,2025/1/13 周一,35,最后一步,我们源卷的原数据已经写到了仓储卷上,B,A,S,V,O,E,T,S,N,A,P,S,H,O,T,V,O,L,U,M,W,R,I,E,T,E,L,U,M,S,X,Y,Z,快照卷的指针指到了新的数据位置,源卷数据更新完毕,2025/1/13 周一,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,37,数据分级存储概念,数据分级存储：,把数据存放在不同类别的存储设备（磁盘、磁盘阵列、光盘库、磁带）,中，通过分级存储管理软件实现数据实体在存储设备之间的自动迁移。根据,数据的访问频率、保留时间、容量、性能要求等因素确定最佳存储策略，从,而控制数据迁移的规则。,分级存储的优点：,最大限度地满足用户需求；,减少总体存储成本；,性能优化；,改善数据可用性；,数据迁移对应用透明。,38,分级存储的存储方式,存储方式,描述,举例,线存储（,On-line storage),数据存放在磁盘系统上。在线存储一般采用高端存储系统和技术如：,SAN,、点对点直连技术、,S2A,。存取速度快，价格昂贵,电视台的在线存储：用于存储即将用于制作、编辑、播出的视音频素材。并随时保持可实时快速访问的状态。在这类应用中，在线存储设备一般采用,SCSI,磁盘阵列、光纤磁盘阵列等，,离线存储（,Off-line Storage),数据备份到磁带、磁带库或光盘库上。访问速度低，但能实现海量存储，同时价格低廉。,电视台的离线存储：平时没有连接在编辑,/,播出系统，在需要时临时性地装载或连接到编辑,/,播出系统。可以将总的存储做得很大。括制作年代较远的新闻片、专题片等。,近线存储,不经常用到，数据的访问量不大的数据存放在性能较低的存储设备上，同时对这些设备的要求是寻址迅速、传输率高。,近线存储介于在线存储和离线存储之间，既可以做到较大的存储容量，又可以获得较快的存取速度。近线存储设备一般采用自动化的数据流磁带或者光盘塔。近线存储设备用于存储和在线设备发生频繁读写交换的数据，包括近段时间采集的视音频素材或近段时间制作的新闻片、专题片等。,