云存储部分功能描述.doc

1 云存储虚拟化设计宇视科技推出的全新一代分布式云存储系统产品，采用无元数据的全对称分布式架构，以大规模横向扩展、纵向扩展能力以及PB级单一存储空间为视频监控等应用提供非结构化数据共享存储资源。云存储系统支持POSIX、iSCSI、NFS、CIFS、FTP、HTTP、REST等标准访问协议，兼容HDFS API，支持Hadoop应用，充分满足各种业务需求。1.1 空间虚拟化Uni-FS是运行于我司云存储系统所有存储节点之上的分布式文件系统，它将各物理存储设备节点组成一个集群，对外提供文件存取和数据保护等功。它采用无元数据设计的全对称分布式架构，支持3300个存储节点的弹性无缝扩展，可提供PB级单一存储空间。1.2 全局统一命名空间分布式文件系统最大的特点之一就是提供全局统一的命名空间。全局统一命名空间就是将多个存储服务器的磁盘和内存资源聚集成一个单一的虚拟存储池，对上层用户和应用屏蔽了底层的物理硬件。存储资源可以根据需要在虚拟存储池中进行弹性扩展。全局统一命名空间可以让不同的用户通过单一挂载点进行数据共享，I/O可在命名空间内的所有存储设备上自动进行负载均衡。我司云存储系统是基于Uni-FS文件系统提供统一命名空间，在同一个云存储系统中可以同时有多个Uni-FS文件系统的卷（物理资源池，由多个存储设备的资源组成），不同的卷创建的文件系统有不同的命名空间。我司云存储系统同时也是基于Uni-FS文件系统的卷提供共享文件目录，因此不同用户可通过访问这个单一的共享文件目录，实现IO在这个Uni-FS文件系统命名空间内的所有存储设备上自动负载均衡。1.3 弹性扩展我司云存储系统的无元数据，通过弹性HASH算法定位文件访问的架构，决定了我司云存储系统获得了接近线性的高扩展性。我司云存储系统支持从横向和纵向的扩展模式，实现在容量、性能和带宽三方面的线性扩展。 Scale-Out横向扩展：通过增加存储节点，实现系统容量、性能和带宽的扩展。存储节点最大可扩展至300个。 Scale-up纵向扩展：在单节点的硬件性能范围内，通过增加磁盘扩展柜和磁盘实现系统容量和性能的扩展。1.4 认证与权限管理我司云存储系统支持本地认证和外部域认证，域认证支持外部AD域服务器认证（适用于CIFS文件共享），外部LDAP域服务器认证（适用于NFS文件共享）和外部NIS域服务器认证（适用于NFS文件共享）。在云存储系统中，共享文件夹针对用户、主机或用户组可以设置相应的读写访问权限。1.5 配额管理当卷处于挂载状态时（工作状态），对共享文件夹设置系统用户的配额，可以限制该系统用户在共享文件夹下的最大写入数据大小。一个用户可以在多个共享文件夹下拥有不同配额，一个共享文件夹下也可以有多个不同配额的用户。配额的设置又分为硬配额和软配额的配置，先介绍下硬配额和软配额的定义： 硬配额：一旦设置了硬配额大小，当用户数据达到配额大小时用户无法再写入新的数据，系统可根据设定发送配额通知邮件给用户。 软配额：一旦设置了软配额大小，当用户数据达到配额大小时系统可根据设定发送通知邮件给用户，但用户仍可以在容许时间内写入新的数据，如果未配置硬配额，则可以写入数据直到达到可用卷资源的大小；如果设置了硬配额，则可以写入到硬配额的大小。1.6 负载均衡与故障切换我司云存储系统提供前端虚拟IP地址池，为节点分配动态IP地址，客户端根据域名访问云存储系统，采用轮询的方式为客户端（流媒体服务器等）返回不同的IP地址，实现业务在不同节点上进行读写访问，从而达到业务负载均衡的目的。1.7 统一管理管理同时支持图形界面和命令行方式。管理员可以通过Master浮动IP地址访问统一的网管界面，完成对集群系统的监控、配置、资源分配、性能统计和告警浏览等操作。支持Email，SNMP Trap，短信，蜂鸣器，指示灯，数码管等多种告警方式。2 安防业务方案设计2.1 视频云直存视频云存储组网，采用scale-out结构，分离数据平面和控制平面，即媒体流带外的方式，从IPC到存储节点直接写入，中间无需其他服务器的介入。 视频云存储组网中IPC主动管理存储计划和前端智能数据告警，可以及时触发告警录像，同时简化了后端云存储架构，降低了存储业务压力，可以让云存储系统专注读写，更好的满足用户的存储需求。应该说，视频云直存模式是在宇视块直存基础上延伸出来的云存储模式，汲取了SAN共享技术及分布式文件系统的块分配策略，突出解决了空间按需占有、弹性扩容及负载均衡等问题。2.2 图片CDS云存储图片云存储组网相对视频增加了TMS（智能交通管理服务器），主要负责图片智能数据分析、黑白名单及研判等业务，在IPC完成一定数量的图片存储后，以事务的方式上传卡口智能数据到TMS服务器。图片大小一般从几KByte到上MByte不等。大量的图片小文件对元数据的操作开销非常大，既增加了总体数据的写入数量，也增加了磁盘的随机读写，同时也容易产生磁盘碎片。为此，从底层重新设计了块分配及元数据的组织算法，通过重组的方法将图片流化处理，充分利用视频存储的块组织模式。海量小文件存储（简称LOSF，lots of small files）是业界难题。业内有些厂家为了快速实现功能，将非结构化的图片采用表式的数据库存储技术，存在表容量大、内存消耗大、查询路径长、容量难扩展等缺点。宇视科技参考淘宝、微信、Facebook等互联网技术，采用流式的对象存储技术，并把索引结构从秒级扩展到帧级，可以很好的解决上述问题。图片的索引和内容分开处理，将结构化的图片索引存储入千亿级数据库可以快速检索、易扩展，非结构化的图片经过聚合处理后存入数据对象，实现千亿级图片存储。并行智能分析系统的性能提升除了提高智能算法，同时也要避免浪费大量的时间在iowait上等待数据。分布式存储系统的读取包含：从千亿级业务数据库获取图片索引，从千亿级元数据列表获取数据节点ID，从PB级的存储中读取数据，在数据中定位到单帧图片。其中每一步的耗时都达到秒级以上。宇视CDS的图片无元寻址技术将图片的元数据信息嵌入文件名，减少元数据的读取，从而快速定位到单帧图片。提高业务体验的同时，也增加了云存储的查询性能和集群规模。获取图片的业务延时达到了50毫秒，端到端打通了智能分析的IO瓶颈，大大提高了图片并行分析速度。2.3 集群化媒体获取服务设计数据读取流程云存储当前提供了两种最常用的数据读取服务，RTSP点播回放服务（针对视频业务）和Http服务（针对图片业务）。Http服务直接部署在CDV上，客户端通过URL地址就可以显示和下载图片。这种方式的带来的好处是减少数据读取的中间环节，而且由于数据分布上在写入时经过客户段负载均衡后，大批量下载可以充分利用多CDV节点的读取能力。RTSP点播服务中引入了VOD集群功能，即用户可以随需配置，从而满足大规模的点播和下载需要，而且VOD集群会进行一定的数据缓存处理，从而在一定程度上降低对后端存储的压力，同时起到一定的CDN（内容分发网络）功能，提升播放体验。离散化的数据在存储集群的各个节点进行数据整合，统一向数据分发层的VOD集群提供数据服务。存储集群里的各个节点自身支持负载均衡和缓存加速，避免了热点数据对单个存储节点的性能消耗。同时VOD集群里的各个服务器支持集群和级联，单台提供512路并发接入，可接入超高并发的客户端，并提供录像切片、同步回放、即时回放、倍速快进/快退等功能。同时客户端的录像下载服务由存储节点直接提供，可以减少IO路径，可提供100MBps的极速下载特性，如果不考虑网络瓶颈、CPU瓶颈、本地硬盘读写瓶颈，下载速度还可以更快。2.4 数据生命周期管理宇视云存储方案，一方面对存储空间进行池化处理，另一方面也对安防数据业务进行了更合理的空间规划和数据可靠性保障。2.4.1 业务分组隔离支持将存储节点根据业务类型分组部署，并将业务数据流控制在分组内，保证数据流的路径可控，且在同一存储节点分组内，能支持视频、图片等不同类型的混合业务。2.4.2 用户空间针对不同业务类型进行优化用户空间是在不同的存储共享池上分配的业务可用空间。系统设计时考虑到视频流与图片流有不同的业务特征，将用户空间附加了业务属性，并在存储节点的数据流写入过程中进行针对性优化。连续化、顺序性是视频业务的突出特性，而这个特性对于连续存储空间的要求非常突出，这样才能发挥物理硬盘的最大性能，效能比才能达到最大。而图片流，对于大量图片相机发生源并不具有较好的连续性和顺序性，缩略图、合成图等不同类型的图片大小差别非常大，通过图片块化整合，将并发的大量相机的图片写入操作，整合为近似视频流的模式，达到性能的最大化。2.4.3 多维度的空间配额对于监控业务来说，留存期是一个突出的特征，保证每个相机固定的留存期是监控存储系统的基本功能，因此，系统设计了多个维度的空间配额控制。首先，创建存储共享池时会指定存储节点分组，从而限制业务范围只能在有限的存储节点范围内，避免对其他存储节点的影响。其次，用户空间在存储共享池内会先配置空间配额，该用户使用的空间不能超过配额的限制，避免对其他用户空间的占用。最后，业务系统在配置每个相机的留存期时，会在用户空间上再次指定使用配额，避免对其他相机留存期的影响。2.4.4 细粒度的数据冗余策略通用云存储都是在一个统一的存储层面，比如设定目录或是节点的冗余策略，常见的如多副本策略或是纠删码等方式，这种方式是割离了计算，单纯从存储层面进行的数据保障措施，但其粒度过大，性能开销大，存储设备硬盘配置要求高的缺陷也在一定程度上转嫁给了客户投资。通过将安防业务中与存储或媒体密切相关的功能进行了合理抽象，系统能将数据的冗余策略精确到更细粒度的时间片段数据，或是某一张图片文件，并通过告警或事件联动的业务入口，提供给客户更灵活的可定制流程。 （注：专业文档是经验性极强的领域，无法思考和涵盖全面，素材和资料部分来自网络，供参考。可复制、编制，期待你的好评与关注）