学校视频监控云存储解决专项方案.docx

XXX学校视频监控云存放处理方案创新科存放技术1 项目背景“百年大计，教育为本”，学生成长和教育问题一直是政府、学校、家长及全社会广泛关注问题。多年来，校园各类安全问题得到了政府和社会高度重视，校园安保已经不再是简单校园本身安全管理问题，而是保障现代教育环境友好有序不可忽略社会治安问题。伴随高清视频监控和智能安防技术日益成熟和广泛应用，现代校园安保也越来越多地借助到信息化手段来提升其能力和效率。然而高清智能视频数据采集、传输、存放和管理应用对其配套软硬件环境含有严格要求，系统安全可靠性及智能高效性成为校园安保关注焦点。目前，传统校园信息化架构往往无法满足高清视频监控灵活布署和大规模应用，愈加安全、高效、可靠、便捷校园安保系统将成为未来平安校园建设肯定趋势。然而现代平安校园在建设过程中，面临着多方面挑战和压力：数据量大且复杂：现代校园大而分散，人车流混杂，人员身份复杂且分布不均，流动性较强，使得校园内空旷之地和人员密集区域均存在安全隐患，时刻产生大量复杂前端动态视频数据。效率低下：在突发事件面前，传统安防系统只能做到被动响应和事后取证，既无法第一时间智能预警，也不能在有效时间内找出正确关键事件依据，严重影响校园事件处理效率。系统破旧复杂：传统校园安防系统资源分散，互通性差，且设备复杂繁重，扩容改造困难，应用和维护管理复杂，往往和新设备无法实现联动追踪。XXX学校视频监控系统具体需求以下：l 存放模式：集中存放；l 存放规模：600路高清摄像头；l 存放码流：2Mbps；l 存放时间：天天二十四小时，共存放90天；l 可靠性要求：存放设备整机故障，录像不中止；2 推荐产品型号为充足满足项目要求，并结合系统可靠性、设备稳定性及优异性标准，我们选择创新科存放技术NS9000云存放系统作为本方案选型存放产品。 产品型号：NS9000云存放系统NS9000云存放系统基于集群存放架构设计，每套存放节点为16、24、36不一样盘位设计，支持横向扩展，最大可管理超出1000套存放节点，最大容量超出数千PB，支持将全部存放节点虚拟化整合，形成一个大虚拟池，组成全局统一命名空间。NS9000云存放系统采取专利技术副本技术，支持关键数据镜像冗余存放模式，任意存放节点整机故障，数据不丢失，业务不中止； NS9000云存放系统存放节点支持SATA / SAS硬盘，支持多个RAID等级，任意硬盘故障数据不丢失；同时支持整台存放节点故障时录像不中止，当存放节点整机故障后，NS9000云存放系统侦测故障并利用IO重定向技术，将故障设备录像业务重定向写入其它正常存放设备，保障用户录像业务不中止，数据无丢失；结合监控平台厂商提供录像服务器冗余方案，整套存放系统能够达成磁盘、设备、服务器三级冗余，达成99.99%存放系统高可用性要求。3 处理方案3.1云存放总体设计考虑业务高可靠性和后期在线扩展，XXX学校项目采取NS9000云存放系统方案，整合全部存放空间为全局统一命名空间，并实现高性能、高可扩展性、高可靠性，NS9000云存放系统支持标准NAS共享协议，其中私有协议支持国际标准化POSIX文件系统接口，前端应用无需修改，能够直接运行在NS9000云存放系统上。云存放系统在业务步骤底层，前端监控设备采集视频数据经过传输网络在监控中心汇聚，经过流媒体/录像服务器将全部监控录像保留到云存放集中存放系统；云存放系统设计关键就是要确保录像、回放业务不间断性和视频数据完整性；以下图所表示：前端采集层：关键负责数据采集，并将视频或图片数据以数据流或文件形式传输到流媒体/录像服务器。录像/应用层：关键包含流媒体/录像服务器、检索服务器、数据分析服务器、及第三方应用接入服务器等，安装有监控系统各个功效模块。云存放层在整个系统底层，也是整个校园监控应用基础，由存放设备层和虚拟化层组成；提供安全可靠数据存放空间，采取集群方法，实现多台存放设备虚拟化整合，提升系统抗风险能力，保障数据安全和业务连续性。这三层相对独立，却又紧密联络。是整个视频监控系统支撑，每一层全部能够实现冗余设计，且方便设备故障问题检测。以UIT创新科NS9000为关键云存放系统相比传统IP-SAN存放方案，支持存放设备整机故障录像不中止副本实现数据不丢失，含有独有业务高可靠优势，同时含有强大存放容量在线扩展能力和存放空间按需分配优势，从系统高可靠性、高可扩展性、存放空间弹性利用等方面完全满足XXX学校视频监控系统建设需要。3.2可靠性设计3.2.1硬盘故障冗余NS9000云存放系统中每一台存放节点全部支持多个纠删码等级，纠删码是保障视频监控录像数据安全性和存放业务连续性根本所在，从成本和可靠性出发，UIT创新科提议存放盘阵采取8+2组建纠删码方法。纠删码在任意1块硬盘故障情况下，数据不丢失，存放业务不中止，降低了硬盘故障所带来风险。3.2.2存放设备整机故障冗余NS9000云存放系统全部存放节点均以并行化方法工作，实现全局负载均衡；同时支持任意存放节点整机故障无缝消除，表现在以下两个方面：l 在不额外增加存放节点硬件投入情况下，能够实现写入业务不中止；支持多台存放节点同时故障，最多能够损坏50%存放节点，实现N+N设备级故障冗余；3.2.3多冗余元数据控制单元NS9000云存放系统支持元数据和数据分离带外存放架构，其中元数据由独立元数据控制单元来管理和存放，是整个云存放系统架构关键设备，UIT创新科采取3台独立MDC设备互为冗余，形成HA高可用管理机制。这一套元数据控制单元拥有高效和完善故障检测机制，实现设备故障毫秒级切换，保障整个云存放系统稳定、连续、高效运转。3.2.4网络冗余存放网络是整个云存放系统正常运行关键，UIT创新科提议存放盘阵和交换机之间做链路冗余设计，UIT创新科NS9000云存放系统采取存放设备4个网口做负载均衡，每台NS9000元数据控制单元4个网口也做负载均衡。3.2.5存放服务器冗余在视频监控系统中，和云存放系统关系比较亲密是录像服务器。录像服务器负担前端多路摄像码流文件打包，并向云存放系统提议读取和写入请求；UIT创新科NS9000云存放系统支持全局数据共享功效，许可存放服务器以集群N+1冗余方法工作，结合监控平台厂商提供录像服务器冗余方案，整套存放系统能够达成磁盘、设备、服务器三级冗余，达成99.99%存放系统高可用性要求。3.3扩展性设计3.3.1全局统一命名空间NS9000云存放系统采取开放式集群存放架构，基于IP以太网交换网络关键，经过IP网络共享全部存放空间给存放服务器使用。NS9000云存放系统内置含有自主知识产权集群文件系统-UFS，将全部存放盘阵进行统一整合，聚合全部存放空间为统一大虚拟存放池，并以NAS共享协议或私有文件系统等标准访问方法共享给应用服务器；同时，聚合全部存放盘阵带宽性能。整个存放架构含有存放空间整合、存放盘阵性能聚合、设备动态扩展、集群管理特点。3.3.2在线横向扩展在视频监控系统正常运转情况下，只需要将存放盘阵接入内部IP以太网交换网络，然后经过NS9000云存放系统动态加入到统一大虚拟池，就完成存放空间和存放性能线性扩展。同时，应用服务器无需下线，也无需任何设置就能够使用新扩展存放盘阵，取得愈加好存放性能，实现性能和容量线性扩展；整个NS9000云存放系统支持在线扩展至超出数千PB海量存放空间，完全满足XXX学校视频监控系统未来计划设计。3.4运维管理3.4.1集群布署NS9000云存放系统支持集群布署功效，经过WEB管理界面打开集群布署界面，只需要一个操作就能够完成对全部存放盘阵操作配置。在集群布署过程中，只要使用1台管理终端接入视频监控网络就能够打开WEB管理界面，进行集群布署，含有操作简便、布署快捷、节省人力成本特点。3.5存放容量3.5.1净容量需求XXX学校视频监控系统高清摄像头路数：600路；码流大小：2Mbps存放码流；存放时间：天天二十四小时，按90天存放时间计算。整个XXX学校视频监控系统所需要存放净容量：监控中心路数码率录像时间保留天数所需净容量前端摄像机6002Mbps二十四小时90天1113TB计算方法以下：所需净容量监控路数4Mb/s8二十四小时3600秒30天/1024/1024注1：1024为MB、GB和TB各单位之间转换系数，1TB1024GB，1GB=1024MB。3.5.2存放配置NS9000云存放系统采取36盘位存放节点，配置采取企业级SATAIII 4TB硬盘，其中8+2块4TB硬盘组成一个纠删码组。则存放设备数量和硬盘数量计算以下：集中监控中心所需净容量纠删码配置单台净容量36盘位存放设备数量4T硬盘数量监控中心1113TB纠删码（8+2）115.2TB10台360块计算方法以下：单台存放净容量4000GB(36块盘) 0.8=115.2TB存放盘阵数量净容量115.2TB（单台设净容量）硬盘数量=存放盘阵数量单台设备硬盘数注：为增加系统高可用性，提议全部机箱满配硬盘；3.6性能设计3.6.1优化检索性能在基于独立元数据控制器NS9000云存放方案中，因为实现了带外数据管理方法，从海量数据中定位某段视频检索方法发生了改变，从传统“应用索引存放设备当地文件系统子目录文件”检索方法，转变为“应用索引集群文件系统元数据索引对应数据块地址”快速索引检索方法，经过优化元数据检索算法，大大提升了文件和视频检索性能，模拟测试显示在TB级海量数据中，检索到任意一段视频检索时间小于100ms，检索性能在视频监控行业含有领先地位。3.6.2存放设备负载均衡NS9000云存放系统支持全部存放设备并行化工作，支持选择不一样资源分配算法实现全局负载均衡和次序方法工作，在负载均衡工作模式下，能够聚合全部存放设备带宽，实现100Gbps以上总聚合性能，同时，当任意一台存放设备故障，其它全部正常存放设备能够接管故障设备业务数据，并重新进行负载均衡，支持存放性能线性扩展。3.7方案拓扑图在本方案中，XXX学校视频监控中心采取一套NS9000云存放系统负责保留前端视频数据，相比传统IP-SAN方案，NS9000云存放系统能够聚合全部存放设备容量为统一存放池，实现高性能并发录像和回放带宽、数据全局共享、后期在线扩展等优势，其网络拓扑图以下所表示：图3-1监控中心云存放系统网络拓扑图前端高清摄像码流经过视频监控专网传输至集中监控中心，经过平台软件流媒体服务器转发至存放服务器，由存放服务器以标准POSIX接口写入NS9000云存放系统中，实现数据集中存放；在平台软件统一调度下，经过流媒体服务器能够从NS9000云存放系统中检索出历史视频用于用户端回放。NS9000云存放系统经过元数据控制单元对全部存放节点存放空间进行虚拟化整合，形成一个统一大虚拟存放池，最大可整合超出1000台存放节点，最大容量超出数千PB；NS9000云存放系统支持设备故障自动切换；支持容量动态扩展和动态分配；支持系统性能动态扩展；且云存放系统内部发生设备故障冗余、节能切换、容量扩展等操作对应用完全透明。3.8方案优势NS9000云存放系统处理方案，含有以下优势：l 高可靠性，支持设备级N+N设备级故障冗余，在不额外增加存放设备情况下，存放设备故障支持录像应用不中止。 l 高性能，支持元数据和数据分离，数据路径和元数据路径独立，消除性能瓶颈，经过对全部存放设备性能进行聚合，对外提供并发高性能录像和回放，满足多点并发浏览/回放高性能需求。l 智能MAID节能，能够设定轮番工作策略，许可负载空闲存放设备休眠，延长硬盘寿命；l 在线扩展架构，支持横向扩展，可在线添加存放节点，容量在线扩展，秒级完成，伴随设备数量增加，性能线性提升；l 全局数据共享，全局统一命名空间，支持前端应用有效负载均衡和故障切换，支持视频分析类应用无缝接入；l 空间动态按需分配，全部存放节点容量全部纳入统一存放空间管理，存放容量按需使用，降低容量管理成本；l 降低建设成本，采取成熟廉价IP以太网网络，降低整个项目标硬件采购成本。同时，经过对磁盘阵列容量整合、性能整合，设置设备间安全冗余，能够愈加好地满足项目需求。l 当地化服务，UIT创新科存放技术在全国各省建设有技术服务中心，拥有雄厚技术服务团体，快速、连续满足用户新需求，成为用户技术服务有力保障。UIT创新科企业拥有过硬技术支持，掌握关键技术开发，随时响应用户需要。4 产品介绍4.1UIT NS9000云存放系统概述NS9000云存放系统是UIT推出全新一代超大规模分布式云存放系统，采取元数据控制路径和数据路径分离非对称分布式架构，支持scale-out横向无缝扩展，在统一命名空间下提供上百PB超大容量及超高聚合带宽。NS9000云存放系统同时支持POSIX （Portable Operating System Interface）和NFS（Network File System）文件协议，充足满足视频应用、媒资分析、文件归档等以文件处理为主应用存放需求。NS9000云存放系统同时还含有高性能、高可靠、易管理、易扩容等特点，为用户提供最高性能和最低运行成本文件存放处理方案，最大程度提升投资回报。NS9000新一代超大规模分布式云存放系统4.2 UIT NS9000云存放系统定位NS9000云存放系统是专门为超大规模文件存放需求设计云存放系统，尤其适适用于以下需求应用场景： 以非结构化数据（文件）存放为主； 超大容量、增加快，需要灵活扩容； 超高性能及聚合带宽需求； 统一命名空间，文件易于在各应用服务器间共享。基于以上需求特点及行业应用情况，能够发觉，NS9000云存放系统关键适适用于以下行业应用。 广电非编、媒资、IPTV、内容分发、渲染、归档； 石油、勘探、地震、天气预报、高能物理、空间信息处理等高性能计算应用； 各行业档案管理、数字图书馆等文件归档类应用； 互联网行业流媒体、web2.0等应用； 电信、金融等行业数据挖掘、智能数据分析类应用；4.3 UIT NS9000云存放系统系统架构NS9000云存放系统采取控制路径和数据路径分离非对称分布式架构，元数据由控制节点负责处理，数据存放则由存放节点处理。控制节点和存放节点均采取集群架构，节点间互为热备，确保系统高可用。非对称分布式架构使得NS9000能够无缝横向扩展，容量和性能均随存放节点增加而线性增加，能够支撑超大规模和超高聚合带宽用户存放需求。NS9000系统架构以下图所表示：NS9000系统架构图NS9000云存放系统由以下部分组成：1） 控制节点集群：NS9000云存放系统采取3个控制节点组成集群，保障系统高可靠性。控制节点负责以下功效： 管理系统全部元数据（metadata），包含文件目录组织、属性维护、访问控制信息、文件操作日志统计、文件到块映射信息、块目前所在位置等。 控制节点管理整个存放系统命名空间，对外提供统一命名空间。 协调指挥用户端和存放节点之间活动，实现性能和容量自动负载均衡。2） 存放节点集群：NS9000云存放系统采取横向扩展集群设计，集群中存放节点互为热备，节点故障自动由其它节点接管，确保整个系统高可靠和高可用。NS9000支持超大规模存放节点集群，存放空间可达EB等级；支持存放节点在线透明增删，性能和容量随存放节点增加线性增加，为用户应用提供超高容量、弹性伸缩存放空间。3） 管理节点NS9000云存放系统管理节点负责整个集群配置管理和运维管理，对系统中多种设备（控制节点、存放节点等）及资源（磁盘、存放空间、文件等）进行统一集中管理，包含设备发觉、配置管理、故障管理、用户认证管理、性能管理、安全管理、网络资源管理等。经过安全便捷图形管理界面，快速安装、向导操作、默认配置、告警屏蔽等人性化设计帮助管理员轻松管理NS9000海量空间。NS9000云存放系统管理节点可独立设置也可和控制节点合设，最大程度节省用户成本。4） UFS海量文件系统NS9000云存放系统搭载UIT自主开发和设计UFS海量文件系统，UIT拥有完全知识产权。UFS海量文件系统采取元数据控制和数据存放逻辑分离模块化设计，为各类应用提供统一文件命名空间、高性能文件处理、稳定读写带宽和高可靠数据保护功效。5） 用户端NS9000云存放系统用户端安装在应用系统服务器上，为应用系统提供简单易用磁盘挂载、文件存放等接口功效。NS9000用户端遵照Posix接口规范，这使得应用系统使用NS9000提供存放服务和使用当地文件系统一样简单和快捷，并拥有更可靠数据保护、更便捷文件共享等服务。另外，NS9000同时支持NFS（Network File System）文件协议，充足满足各类应用需求。4.4UIT NS9000云存放系统特征4.4.1超大容量，弹性扩展NS9000云存放系统专门为海量非结构化数据存放设计，采取控制路径和数据路径分离非对称分布式架构，控制节点和存放节点在逻辑上完全分离，有效避免了传统存放及一般集群存放所存在扩容瓶颈，使得整个集群存放空间能够从小规模无缝扩展到EB等级，充足满足海量文件存放容量需求。NS9000云存放系统支持存放节点在线透明增删，整个扩容过程业务无中止,容量和性能随节点数增加线性增加。NS9000良好扩容能力许可用户从小规模集群起步，依据业务发展对容量和性能需求，逐步弹性扩容、按需配置，避免过分投入、资源闲置和浪费。4.4.2超高性能NS9000云存放系统经过文件分块处理、高速缓存、SSD优化、负载均衡策略等技术手段，充足利用系统内丰富网络、磁盘、内存、处理器等资源，实现了极高聚合带宽和低时延。同时，NS9000对外聚合带宽随存放节点数量线性增加。 文件分块处理：来自用户端文件数据采取分块存放，文件数据分块存放在不一样节点不一样硬盘上，而且采取副本数据保护方法。不一样节点和硬盘上数据分块和副本均可同时向用户端提供服务，从而确保文件存放性能。 高速缓存：用户端采取缓存及增量方法对目录、文件读写操作。配合硬件系统高速缓存处理，确保文件访问高性能。用户端采取预读机制能适应不一样应用软件不一样行为模式，且预读方法可配置。 SSD优化：NS9000云存放系统控制节点使用SSD（solid-state drives）硬盘作为系统盘，SSD硬盘随机IO性能是传统硬盘数十倍，经过SSD硬盘加速实现对元数据高速访问，减小或消除经过网络访问带来时延，确保了整个系统文件存放性能。 负载均衡：控制服务实时了解并掌握各存放节点及用户端IO访问状态，并据此进行统一调度管理。当出现写热点时，会将数据定位至压力相对较小存放节点；当出现读热点时，利用来自不一样存放节点上副本同时向用户端提供服务。NS9000还会依据数据分布情况，在适宜时机在不一样存放节点间进行内部数据迁移，达成整体容量和性能平衡。NS9000云存放系统针对性能要求较为苛刻流媒体类应用进行了专门优化，经过IO序列优化、磁盘调度、端口并行操作（多IP路由，非传统bonding）等手段，满足视频流应用稳定带宽及低时延需求。4.4.3简单管理NS9000云存放系统经过单一IP网络布署、全局命名空间、副本数据保护方法和图形管理界面等设计，使得系统布署、使用和运维全部很简单，确保业务快速上线同时降低运维成本，使用户取得最低总体拥有成本。 单一网络架构：NS9000采取单一IP网络架构，业务系统经过以太网访问NS9000产品提供存放空间，无需另外布署传统存放FC网络，在便于管理同时也降低了成本。 全局命名空间：NS9000云存放系统经过统一IP地址或域名提供全局命名空间，业务系统之间只需经过挂载用户端，即可实现对存放空间共享访问，无需共享软件或文件系统来辅助实现共享。 副本数据保护方法：NS9000云存放系统采取数据分块和副本数据保护方法，避免了传统基于RAID存放系统复杂容量计划、RAID创建等工作，达成系统即插即用效果。另外，传统基于RAID存放系统，但磁盘出现故障时，数据保护等级立即降级，必需立即更换处理，而且数据重建时间动辄十多个小时，维护工作量很大。而NS9000因为采取副本数据保护方法，磁盘故障并不会降低数据保护等级，只需定时进行维护，而且数据恢复时只需重建对应数据块，大幅降低磁盘故障数据恢复时间。 图形管理界面：NS9000云存放系统采取基于web图形化管理界面，支持中、英文两种语言。设备管理、文件管理、用户组管理、系统监控等常规配置管理操作全部能够在直观管理界面上轻松实现。4.4.4安全可靠数据高可用、高可靠、及安全访问永远是存放系统最关键、最基础要求。NS9000云存放系统经过安全数据存放方法、多等级数据保护技术、完善操作管理和用户权限控制等策略，确保系统高可用、高可靠及数据安全。 数据存放安全：NS9000系列将数据分块后，再经过私有存放协议保留到不一样节点不一样硬盘上，非法用户即使获取到部分数据片段也无法窃取原文件数据内容，从而确保了数据安全性。同时存放硬件冗余设计及数据冗余技术等也确保了存放数据高可靠性。 多等级数据保护方法：NS9000云存放系统支持依据目录设置复制因子，可依据用户数据关键等级不一样而定义不一样复制因子，达成容量利用率和数据保护等级最优组合。 回收站功效：NS9000云存放系统支持回收站功效。文件被用户删除后，将被置入回收站。当回收站空间全部被占用时，将按删除时间对回收站文件进行清理。回收站功效可在很大程度上避免因误操作而造成数据丢失。 数据访问安全：NS9000云存放系统提供了丰富访问控制功效，支持ACL（访问控制列表）或用户组（UGO）两种权限管理方法，基于目录进行访问控制。另外，NS9000云存放系统支持AD/LDAP用户整合，并能够对不一样平台（Windows, Linux, MAC）用户端进行统一权限管理。 操作维护安全：系统管理界面采取权限访问控制机制，操作员登录系统必需提供用户名和密码。安全日志：系统管理界面对于关键操作，包含登录、注销等全部统计了对应操作日志，能够供后续系统安全审计使用。产品规格型号控制节点存放节点NS9000-MetaNS9000-16NS9000-24NS9000-36硬件特征节点数3个节点1个上千个节点规格2U机架式3U16盘位机架式4U24盘位机架式4U36盘位机架式CPU1颗Intel Xeon E3-1220V2 4核1颗Intel 酷睿i3-3220 双核或Xeon E3-1220V2 4核内存4G，可扩展为32G4G，可扩展为32G网口4 * 1GE4 * 1GE，可扩充到6*1GE系统盘内置100G 或400G SSD盘1块3.5吋硬盘硬盘数量1块3.5吋备份盘16块3.5吋硬盘24块3.5吋硬盘36块3.5吋硬盘硬盘类型3.5吋SATA盘2T，3T，4T 3.5吋SATA盘BBU内置BBU电源，放电保护时间5分钟无电源1+1冗余热插拔交流电源模块软件特征文件系统UFS海量文件系统，支持全局统一命名空间数据保护副本方法，可按目录设置不一样保护等级，副本数目：15节点RAID，支持RAID 0，1，5配额管理按目录进行存放容量配合管理，可在线动态调整配额文件分片按目录或文件类型设置文件分片大小，提升存放空间用率。扩展性支持存放节点和硬盘在线移除和增加。数据自愈数据自动并行恢复系统管理图形管理界面，支持系统监控、状态查询等功效，支持SSH、WEB方法远程维护。故障告警界面告警、邮件告警操作系统支持Windows、Linux、Mac OS协议支持POSIX、NFS物理特征尺寸88(H)x433(W)x660(D)132.5(H)x433(W)x660(D)177(H)x433(W)x660(D)177(H)x433(W)x660(D)重量15kg5%（主机不含磁盘）20kg5%（主机不含磁盘）22kg5%（主机不含磁盘）22kg5%（主机不含磁盘）功耗160w350w400w550w供电要求AC：100-240 V，47/63Hz环境温度+10+35环境湿度+8%+90%