交通视频云存储解决方案样本.doc

资料内容仅供您学习参考，如有不当之处，请联系改正或者删除。

交通视频云存储解决方案

目 录
第 一 章 概述 5
1.1 系统简介 5
1.2 设计目标 5
1.3 设计原则 6
第 二 章 总体设计 8
2.1 逻辑架构 8
2.2 技术路线 10
2.3 系统特点 11
2.3.1 高效灵活的空间管理 11
2.3.2 海量数据的快速检索 12
2.3.3 持续可靠的数据服务 13
2.3.4 高可扩展的应用支撑 14
2.3.5 开放透明的兼容系统 15
2.4 应用场景 15
2.5 系统软硬件设计 16
2.5.1 软件设计 16
2.5.2 硬件设计 24
第 三 章 视频、 图片混合云存储设计 26
3.1 系统物理拓扑 26
3.2 系统功能设计 28
3.2.1 视频存储功能 28
3.2.2 录像管理功能 29
3.2.3 图片存储功能 29
3.2.4 系统管理功能 30
3.2.5 运维管理功能 30
3.3 系统业务流程 30
3.3.1 视频存储流程 31
3.3.2 视频检索流程 32
3.3.3 视频读取流程 33
3.3.4 图片存储流程 33
3.3.5 图片检索流程 36
3.3.6 图片下载流程 36
3.4 云存储管理服务器设计 37
3.4.1 数量配置 37
3.4.2 硬件配置 38
3.5 云存储存储设备设计 39
3.5.1 存储容量计算 39
3.5.2 存储设备数量配置 40
3.5.3 存储设备硬件配置 41
第 四 章 交通综合管控平台设计 44
4.1 平台整体架构 44
4.2 平台功能模块设计 45
4.3 平台功能设计 46
4.3.1 视频监控 46
4.3.2 实时视频监控 46
4.3.3 交通监控 51
4.3.4 系统管理 62
4.3.5 运维管理 70
4.3.6 流媒体管理 73
4.3.7 存储管理 74
4.3.8 报警管理 75
4.3.9 以图搜图 77
4.3.10 电视墙管理 78
4.3.11 跨网域访问 79
4.4 平台联网设计 80
4.4.1 平台级联与国标设备接入 80
4.4.2 平台互联协议接口 81
4.4.3 平台互联建设遵循标准规范 81
4.5 平台部署 83
4.5.1 运行环境要求 83
4.5.2 配置推荐原则 85
第 一 章 概述
1.1 系统简介
随着交通监控系统规模越来越大, 以及高清视频监控系统、 高清卡口系统及卡口型电子警察系统的大规模应用, 需要存储的数据和应用的复杂程度在不断提高, 且视频数据和图片数据需要长时间持续地保存到存储系统中, 并要求随时能够调用, 对存储系统的可靠性和性能等方面都提出了新的要求。在未来的交警监控系统中, 视频监控点和电警卡口车道数会达到几千路的规模, 视频视频和图片的存储容量将达到PB级别, 对海量数据提供快速存储及检索技术, 显得尤为重要, 存储系统正在成为交通监控技术未来发展的决定性因素。
面对PB级的海量存储需求, 传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。云存储能够突破这些性能瓶颈, 而且能够实现性能与容量的线性扩展, 这对于追求高性能、 高可用性的企业用户来说是一个新选择。
云存储是在云计算( cloud computing) 概念上延伸和发展出来的一个新的概念, 是指经过集群应用、 网格技术或分布式文件系统等功能, 应用存储虚拟化技术将网络中大量各种不同类型的存储设备经过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。因此云存储能够认为是配置了大容量存储设备的一个云计算系统。
依据云存储的技术及功能特点, 海康威视公司专门针对大容量视频数据和图片数据的存储和管理以及满足监控领域特殊的应用需求, 量身设计了一套海康威视交通智能云存储系统( 以简称为交通云存储系统) 。
1.2 设计目标
交通云存储系统设计的核心目标其一是视频和图片数据在存储方面能够很好的满足用户需求; 其二是为用户应用数据提供高效、 稳定、 快速的服务; 其三是系统能够实现便捷、 可靠的统一管理及运维。
1) 数据存储
交通云存储系统实现PB级的海量存储, 突破传统的SAN或NAS在容量和性能的扩展上存在的瓶颈, 实现性能与容量的线性扩展, 满足用户对高性能、 高可用性的需求。
交通云存储系统经过集群智能化部署设计, 不同于传统存储的部署模式, 系统性能全面提升, 而且不再存在单机故障及性能瓶颈应用, 从而实现高效实用的存储系统。
2) 应用服务
交通云存储系统是一套贴合用户需求而设计的云存储系统, 其先天的基因中就融入了面向应用的特质, 在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、 灵活、 可靠的专业级存储服务。
3) 统一管理及运维
交通云存储系统具有高效灵活的空间管理能力, 经过全系统分层集群的设计将系统的管理资源进行整合, 并根据负载均衡算法提供全高效并发处理机制, 提高了系统的整体性能。
交通云存储系统内的设备和资源的运行情况进行统一监控, 以标准的SNMP协议与运维服务器进行数据交互, 能够非常便捷的实现系统整体运维。
1.3 设计原则
交通云存储系统的设计和实施主要遵循”技术先进性、 应用高效性、 开放兼容性”等方面的原则。
1) 采用前瞻性的存储技术架构
采用以云存储为核心的IT技术与交通行业特点进行结合, 进而针对性开发出具有行业属性的先进视频、 图片混合的专有交通云存储系统。将云存储核心技术如集群化部署、 资源虚拟化整合、 分布式流数据存储等技术应用到交通云存储系统中。同时充分考虑交通监控行业的发展需要, 本系统能够支撑未来大数据处理、 智能分析处理等云计算技术的需要, 实现云存储系统在交通监控领域的先进性和前瞻性。
2) 专注与应用结合的设计方式
本套云存储系统是针对交通行业内视频数据、 图片数据存储而设计的, 对数据的具体业务应用进行详细的应用分析后, 从系统底层的流数据结构的设计一直到上层的应用调度策略设计都是站在应用的角度考虑存储。
云存储系统应该定位于作为应用的支撑, 而不能再停留在传统存储和通用的文件云存储仅仅是数据存储的这一较低的层次认识。因此专注于视频和图片的应用是本套交通云存储系统的重要设计原则。
3) 提供开放和兼容的系统环境
云存储系统的开放性和兼容性是需要考虑的重要原则, 本套交通云存储系统充分考虑了与第三方标准存储设备的兼容性问题。对于第三方标准存储设备, 交通云存储系统能够做到良好的兼容性, 以保护用户的前期投入提供一个开放、 公平的系统环境。
第 二 章 总体设计
交通云存储系统是由海康威视自主研发的一套针对安防监控行业应用的专业级云存储系统。采用软硬件一体化设计, 结合先进的集群化技术、 虚拟化技术、 离散存储技术等, 经过流式文件系统对存储资源进行虚拟化和应用化整合, 为用户提供高性能、 高稳定、 高扩展性的数据存储服务。
2.1 逻辑架构
交通云存储系统采用分层结构设计, 整个系统从逻辑上分为五层, 分别为设备层、 存储层、 管理层、 接口层、 应用层。

图1. 云存储逻辑架构图
1) 设备层
设备层是云存储最基础、 最底层的部分, 该层由标准的物理设备组成, 支持标准的IP-SAN、 FC-SAN存储设备。在系统组成中, 存储设备能够是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。
2) 存储层
在存储层上部署云存储流数据系统, 经过调用云存储流数据系统, 实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射, 实现数据( 视频、 图片、 附属流) 和设备层存储设备之间的通信连接, 完成数据的高效的写入、 读取和调用等服务。
3) 管理层
在管理层, 融合了索引管理、 计划管理、 调度管理、 资源管理、 集群管理、 设备管理等多种核心的管理功能。能够实现存储设备的逻辑虚拟化管理、 多链路冗余管理、 录像计划的主动下发, 以及硬件设备的状态监控和故障维护等; 实现整个存储系统的虚拟化的统一管理, 实现上层服务( 视频录像、 回放、 查询、 智能分析数据请求等) 的响应。
4) 接口层
应用接口层是云存储最灵活多变的部分, 接口层面向用户应用提供完善以及统一的访问接口, 接口类型可分为Web Service接口、 API接口、 Mibs接口, 能够根据实际业务类型, 开发不同的应用服务接口, 提供不同的应用服务。实现和行业专属平台、 运维平台的对接; 实现和智能分析处理系统之间的对接; 实现视频数据的存储、 检索、 回放、 浏览转发等操作; 实现关键视频数据的远程容灾; 实现设备以及服务的监控和运维等。
5) 应用层
应用层包括交通综合管控平台、 运维平台等应用平台, 应用平台经过相应的接口与交通云存储系统对接, 实现与交通云存储系统之间的数据以及信令的交互。
交通综合管控平台可与交通云存储系统进行配置录像计划、 配置存储策略、 检索视频资源、 重要录像的备份存储等指令的交互, 辅助流数据、 视频数据、 图片数据的存取。
运维平台采用标准的SNMP协议实现并提供Mibs 接口, 对交通云存储系统以及服务进行监控管理, 及时将产生的告警传递给用户。
2.2 技术路线
交通云存储系统基于云架构进行开发, 采用面向交通用户业务应用的设计思路, 融合集群应用、 负载均衡、 虚拟化、 云结构化、 离散存储等技术, 可将网络中大量各种不同类型的存储设备经过专业应用软件集合起来协同工作, 共同对外提供高性能、 高可靠、 不间断的数据存储和业务访问服务。
在交通云存储系统的设计中, 采用的核心技术如下:
1) 采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架, 可持续扩容避免瓶颈限制, 能够更有效的进行资源管理, 灵活增减空间, 达到最大程度上合理利用空间的效果。
2) 采用集群技术, 解决单/多节点失效问题, 并利用负载均衡技术充分利用各存储节点的性能, 提升系统的可靠性和安全性。
3) 采用离散存储技术, 保障了用户高效的读写的同时保证了业务的持续性。
4) 采用统一完善的接口, 降低对接成本、 平台维护成本和用户管理的复杂度。
5) 采用开放的集成构架, 使其可兼容业界各类iSCSI/FC存储设备, 保护用户现有存储投资资源。
6) 采用数据备份和容灾技术, 保证云存储中的数据不丢失, 确证云存储服务的安全稳定。
7) 可采用视频、 图片的全直存技术方案( 需要前端支持) , 保证项目整体的成本控制, 优化存储系统流程。
2.3 系统特点
交通云存储系统经过全集群化设计、 全域虚拟化设计、 分布式文件系统设计、 面向应用的算法、 功能设计为用户提供了更为海量的存储空间、 更为庞大的前端路数支持、 更为高效的处理能力、 更为透明的系统环境。对于面向视频、 图片等监控行业无疑是一套非常优秀的云存储系统。
2.3.1 高效灵活的空间管理
交通云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾, 在管理大容量空间时经过全系统分层集群的设计将系统的管理资源进行整合, 并根据负载均衡算法提供全高效并发处理机制, 大大地提高了系统的整体性能。
1) 存储资源的虚拟化
对存储空间的管理方面交通云存储系统将全域各存储节点的资源进行虚拟化后, 向用户呈现出一个持续的、 超大的数据资源池, 将其称之为存储资源池。存储资源池的整合过程完全透明, 由系统算法自行完成, 将用户从繁琐的空间管理和配置中解脱出来, 提高了管理效率。
2) 存储资源的在线扩展
当存储资源无法满足用户的容量需求, 需要进行存储资源的扩展时, 交通云存储系统能为用户提供十分便易的操作。用户只需要在集群内添加新增存储设备的IP地址, 系统会自动辨别新增设备, 对新增设备进行虚拟化整合, 这样新增设备的容量就能融入集群, 并作为集群内全部存储资源的一部分为用户所用; 同时, 在整个存储资源的扩展过程中, 交通云存储系统的录像业务正常运行, 保障用户不会因为系统的扩容而中断正在进行的正常业务, 从而实现存储资源的在线扩展。
云存储的系统架构保证了存储资源在线扩容的同时, 能够满足容量与处理性能的线性增长, 从而提供了无限制的容量增长能力。
3) 虚拟空间的灵活使用
用户对存储资源池的使用完全能够做到随心所欲, 能够按照监控系统的需要和监控区域的容量大小将存储资源池的存储资源进行分配, 分配后的存储资源称为录像池。
录像池的划分采用灵活策略方式, 对于已经分配好的并在线运行的录像池策略依然能够进行调整。调整方式非常灵活, 不但能够做到将录像池进行扩大, 同时也能非常灵活的支持将录像池进行缩小, 而这点在传统存储中则非常困难。
2.3.2 海量数据的快速检索
交通云存储系统在管理着PB级的存储容量空间时, 依然能够具备高效、 准确、 快速的数据检索能力。
1) 一体化索引设计
交通云存储系统的索引管理遵循着高效、 简洁、 一体化的设计思路。所有与用户业务相关的索引信息统一由交通云存储系统的视频云存储管理节点或者集群进行管理。视频云存储管理集群在对索引的一体化设计上将海量数据索引查找、 筛选进行了全面的优化, 大大的提高了查找速度。在规模不断扩大时性能几乎相同, 均能做到毫秒级耗时。
2) 深化的应用设计
交通云存储系统本着交通云存储系统的特有性, 在视频、 图片的某些专有信息上也进行了独特的设计。能够支持快速的对I帧定位并直接读取I帧信息, 避免了传统存储在I帧数据获取时重复读取视频数据再分析呈现的过程。该项设计使得交通云存储系统在数据存储索引设计与用户应用更紧密地进行了融合, 使得交通云存储系统能够为用户提供更为高效的海量数据的快速检索能力。
2.3.3 持续可靠的数据服务
交通云存储系统为用户能够提供7X24小时不间断高效可持续的数据服务, 充分保护数据安全和可靠性。
1) 集群化管理节点设计
交通云存储系统在管理层面经过部署集群化交通云存储管理节点向用户提供系统级的存储性能和可靠性。经过交通云存储管理集群将管理压力、 业务压力、 调度压力、 检索压力等同时分担在不同的视频云存储管理节点上, 不但能够使系统整体性能提升, 还能够使得单台节点的压力下降。
经过这种方式单台视频云存储管理节点的系统消耗更小, 也就使得使用寿命更长, 可能出现故障的概率降低。即使交通云存储管理集群中部分( 一台或多台) 节点出现故障, 也不会影响到交通云存储系统的服务, 因为在交通云存储管理集群中的其它节点会主动接过故障节点的工作, 继续为交通云存储系统提供管理服务。
2) 持续并发业务存取
在数据存储层面同样由于交通云存储节点也采用的集群化部署, 所有的存储资源是采用虚拟化的方式由系统统一进行管理的。在数据存储时交通云存储系统采用离散存储算法, 能够为用户提供系统级分散存储服务。支持将同一IPC提供的数据流按照分片的方式分布式存储在不同交通云存储节点上。
这样即使单台或多台存储节点出现故障该IPC的录像数据依然可用。在存储节点内运行管理和业务软件也可用对数据进行合理分配, 同时高效的 Raid技术在设备层面也能保证数据的高安全和可靠性。
3) 高可靠的录像功能
交通云存储系统在存储节点上内置视频云接入软件, 所提供的录像服务和流媒体服务也是由交通云存储管理节点统一进行调度的, 每套视频云接入软件负责一部分前端的录像工作。当这台节点宕机时交通云存储管理集群会根据当前资源情况按照负载均衡策略将这部分录像任务重新进行分配, 保证业务的不中断。
2.3.4 高可扩展的应用支撑
交通云存储系统是一套为视频、 图片等监控行业而设计交通云存储系统。其先天的基因中就融入了面向应用的特质, 在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、 灵活、 可靠、 的专业级存储服务。
1) 数据应用性能支撑
由于视频数据具有持续时间长、 数据量大等特点, 在存储和读取上对存储设备的压力会特别的严重。传统存储在遇到视频流数据的时候往往会出现存储/读取慢、 前端支持路数底的瓶颈。而交通云存储系统就能够很好的解决这些问题。
2) 流数据存储结构设计
交通云存储系统的集群化、 分布式设计使得系统的性能有很大的提升, 能够并发服务以满足视频数据的高速读取需求。
交通云存储系统的流数据结构系统也是专门为视频、 图片数据而设计, 能够合理将整段数据进行划分。这样设计的优点是满足视频数据的持续写入。
对于划分的粒度, 经过海康威视多年视频监控行业的服务经验, 同时配合对大数据服务的扩展需要, 以及考虑到后期数据读取和应用的频率而进行的专业调整。在具体存储空间的分配上海康威视交通云存储也是自有知识产权的设计, 摒弃传统存储的分配方式而为视频、 图片数据而特别设计的。
3) 高扩展性应用设计
视频录像的应用方面海康威视交通云存储也进行了充分的考虑。如支持对I帧的快速定位、 对录像标注、 修改、 对存储周期采用时间和存储容量双轴线覆盖策略等。海康威视交通云存储这些专业化设计使得用户在应用过程中不再需要平台分析服务器采用重复读取完整录像后再进行分析而得出结论的方式。这样大大优化了应用的服务质量, 使得监控系统的服务也更加专业、 有效。同时为有云计算需求的用户提供了优质的数据基础。
2.3.5 开放透明的兼容系统
交通云存储系统的设计理念就是经过云的概念将所有不同类型的应用、 业务接口全部封闭在云内, 为上层业务和用户提供统一的、 透明的、 可调用的系统级存储资源。
1) 统一开发平台接口
云存储系统在软件接口设计上采用API的模式对内部所有处理模块进行筛选, 将对业务有决定性的模块按照接口的模式进行统一封装, 提供给上层业务进行调用, 这样云存储系统内部实现对上层业务就不再重要, 上层业务只用调用云存储系统提供的统一接口即可, 大大的优化了上层业务的代码结构、 简化了操作步骤, 也将应用的效率和性能进行了大幅提高。
2) 标准第三方设备接入
交通云存储系统采用的是标准的设备兼容模式, 支持标准IP SAN、 FC SAN存储设备的接入。交通云存储系统经过部署第三方存储服务节点的方式, 将用户环境中现有或者需要使用的标准第三方存储设备统一进行管理。第三方存储设备接入到交通云存储系统后, 由交通云存储管理集群统一进行管理, 第三方存储设备的资源也纳入到虚拟池内进行管理。用户在使用上并不会感受到差别, 真正实现透明、 统一、 兼容的交通云存储系统。
2.4 应用场景
交通云存储系统解决方案作为交通行业监控整体方案中的存储技术部分, 支持纯视频云存储场景、 纯图片云存储场景、 视频与图片混合类云存储场景, 本方案针对视频与图片混合类云存储场景进行设计。
视频与图片混合云存储场景支持一套云存储能同时满足视频和图片数据的存储要求, 并综合视频和图片的在云存储系统中的存储优势, 将复杂的业务存储场景简单化, 向用户提供一体化的存储解决方案。
对于视频数据流采用直写方式存储到存储磁盘阵列上; 对于图片数据流需要经过平台接入服务器转发到存储磁盘阵列, 当前端设备支持图片直存时, 能够采用图片直存云存储方案, 可节省接入服务器, 在提高存储系统的效率和可靠性的同时, 能够节省项目的整体成本。
2.5 系统软硬件设计
2.5.1 软件设计
交通云存储系统主要由以下软件组成: 交通云存储管理软件( CVM) , 交通云存储存储软件( CVS) , 交通云存储接入软件( CVA) 和交通云存储异构软件( ASS) 。
2.5.1.1 交通云存储管理软件CVM
交通云存储管理软件CVM( Cloud Video Manage) 是交通云存储系统中的管理模块, 主要功能包括交通云存储系统内资源管理、 存储节点管理、 集群管理、 策略调度、 运维监控等。
软件包含六大功能模块, 分别为: 索引管理模块、 调度管理模块、 集群管理模块、 计划管理模块、 资源管理模块、 辅助管理模块, 整体软件架构如下图所示:

图2. CVM软件架构
1) 索引管理模块
索引管理模块集群化管理集群中的全部管理节点, 能并发响应用户的检索、 插入、 修改和删除操作情况, 提供一体化、 高并发、 快响应的索引服务。
同时, 索引管理模块提供视频索引、 图片索引、 标注索引服务, 支持以通道号、 时间段、 录像类型和锁定状态为条件的视频和图片信息检索服务, 也提供统一资源定位符( URL) 形式的WEB访问图片方式, 支持以通道号和时间段为条件插入、 修改、 删除和检索标注的功能, 以及根据标注关键字检索视频的特色功能。
2) 调度管理模块
调度管理模块根据集群中设备的负载状况灵活的调度集群资源为应用业务提供支撑。作为集群系统中的逻辑引擎根据不同的逻辑策略执行不同的调度算法, 提供资源分配调度、 分散策略调度、 循环覆盖调度、 录像计划调度等服务。
3) 集群管理模块
集群管理模块统一管理集群中分布式设备节点, 包括管理节点和存储节点。它负责管理节点之间关键信息的实时同步, 保证集群中不同管理节点信息的一致性, 无差异化的对外提供服务。同时也负责管理存储节点, 将存储节点加入到集群中作为存储资源的一部分, 集群管理模块维护集群中设备节点的实时状态信息, 对外提供设备状态查询接口便于管理和了解集群的整体运行状态信息。
4) 计划管理模块
计划管理模块负责负责录像计划的管理、 下发、 切换, 保存外部平台下发的录像计划, 调度系统中的录像计划并执行录像计划, 当接入服务器异常时负责动态切换录像计划到其它接入服务器。
5) 资源管理模块
资源管理模块负责对集群中所有存储设备的存储空间进行统一管理, 根据入网存储设备上报的资源信息计算出集群存储总容量和空闲容量, 负责创立、 删除录像池, 为存储业务分配合适的存储资源。同时能动态的调整录像池的大小, 弹性的对录像池进行扩容或者缩减, 将集群存储空间切分成细小独立的存储单元, 再根据用户需要将很多个存储单元有机组合后虚拟化成录像池对外提供存储服务。
6) 辅助管理模块
辅助管理模块包含日志管理、 运维管理、 数据迁移等功能, 日志管理为其它模块提供日志打印服务, 对外具备日志查询和日志文件下载功能, 包含调试日志、 事件提示日志、 错误日志、 告警日志和重要日志。运维管理云视频管理节点的运行参数获取接口, 供运维平台获取管理节点的实时运行信息。数据迁移功能对外提供将第三方数据迁移到本交通云存储系统中保存的功能。
2.5.1.2 交通云存储存储软件CVS
交通云存储存储软件CVS( Cloud Video Storage) 是交通云存储系统中的存储模块。CVS集成在交通云存储节点( CVSN) 上, 在每一台海量数据存储设备上都必须装载该软件模块。
交通云存储存储软件( CVS) 接受交通云存储管理软件( CVM) 的管理, 从交通云存储接入软件( CVA) 接收海量视频, 高效无误的存放在本机的Raid或iSCSI设备中, 方便用户经过CVA进行查询。交通云存储管理软件( CVM) 会均衡分配多台交通云存储存储软件( CVS) 的业务负载量, 使整个系统的读写性能达到最佳。交通云存储存储软件按照功能模块化设计, 整体软件架构如下图所示:

图3. CVS软件架构
1) 通信模块
本模块主要是负责和CVA及CVM进行数据信息的交互, 采用多线程并发接收和发送数据的方式, 高效完成跨机器的数据交互。
2) 运维管理
本模块主要是负责和运维进行交互, 采集系统数据及程序运行数据, 并按照特定协议格式发送给运维系统, 方便平台对整个云存储系统运行状态进行实时监控, 如有问题出现, 能够及时报警给相关人员进行处理。
3) 视频/图片接入
本模块主要是负责处理从CVA传输进来的视频已经从接入服务器传输进来的图片等数据, 并按分类进行一定的逻辑处理。采用多线程的处理方式, 可同时支持多路的视频和图片数据接入。
4) 日志管理
本模块主要是负责对CVS的日志进行统一管理, 记录一些重要事件, 方便事件回溯, 对外提供日志查询和日志下载功能。
5) 视频/图片文件系统
本模块根据视频、 图片的特性, 定义流式存储结构, 主要是负责数据的高效读、 写。
6) 数据库管理
本模块主要是负责对CVS系统运行时需要临时存放的一些重要数据进行保存, 能够方便的以SQL接口提供插入和查询, 简化数据存放和获取的机制。
2.5.1.3 交通云存储接入软件CVA
交通云存储接入软件CVA( Cloud Video Access) 是整个系统的重要组成部分, 主要包括录像任务管理、 录像服务、 设备状态管理和部分流媒体转发服务等功能。
视频云接入软件支持定时录像、 移动侦测录像和事件录像( 如: 手动录像) , 其中事件录像的优先级要高于定时录像和移动侦测录像。视频云接入软件实时检测用户配置的录像计划任务信息表, 当接入软件检测到有通道需要执行录像任务时, 接入软件首先通知流媒体服务从前端设备读取视频数据, 然后根据录像类型执行相关录像。
视频云接入软件按照功能模块化设计, 软件包括六大功能模块: 录像任务管理、 流媒体服务、 设备状态管理、 负载信息管理、 录像服务、 视频帧分析。整体软件架构如下图所示:

图4. CVA软件架构
1) 录像任务管理
录像任务管理功能主要包括定时录像管理、 移动侦测录像管理和事件录像管理等功能。定时录像和移动侦测录像是用户设置的计划录像, 事件录像是用户计划外的录像。录像管理功能需要按照用户的需求从前端设备获取视频数据、 执行录像、 停止录像和停止从前端设备取流等操作。
Ø 移动侦测录像, 录像管理功能首先需要对前端设备布防, 并监控前端设备的报警状态, 同时还能够根据用户的需求提前从前端设备获取视频数据, 经过预先获取数据流保证了视频的完成性, 当接入软件收到前端设备的移动侦测报警命令后, 立即执行录像。
Ø 事件录像, 录像管理功能接收到事件录像命令, 首先检索当前通道是否有定时录像或移动侦测录像, 如果没有上述两种录像, 立即执行录像, 事件录像的优先级要高于移动侦测录像和定时录像。
2) 流媒体服务
流媒体服务主要包括流媒体转发模块和流控制管理模块, 流媒体服务具有稳定和高效等特点, 整个系统提供持续的视频数据支持。流媒体服务传输视频数据支持RTSP、 TCP和UDP协议, 能够根据不同环境选择合适当前网络性能的传输方式。
流媒体服务视频流转发功能: 流媒体服务从前端设备获取到视频流后能够根据用户的需要将视频流转发给多个用户或设备。经过视频转发功能降低了前端设备的压力, 节省了网络带宽, 极大的提高了系统性能。
3) 设备状态管理
设备状态管理是云存储接入软件的基础功能, 它主要包括监控前端设备状态、 布防状态和取视频数据流的状态。
Ø 前端设备状态监控: 状态管理功能实时获取前端设备的状态, 当检测到前端设备异常, 接入软件会及时上报。
Ø 设备布防状态监控: 状态管理功能实时监控前端设备的布防状态, 当前端设备布防失败, 接入软件会及时上报。
Ø 读取视频流状态监控: 状态管理功能实时监控流媒体服务的工作状态、 如果流媒体服务取视频流时发生异常, 接入软件会及时上报。
4) 负载信息管理
负载信息管理功能主要是接入软件实时监控当前服务器的内存和CPU使用情况, 并定时上报当前服务器的资源使用信息, 管理系统能够根据上报的服务器资源使用信息管理录像计划。
5) 录像服务
录像服务包括取流管理模块和执行录像服务模块两个部分。
录像服务接收录像任务管理模块下发的录像信令, 当录像服务接收到录像任务管理模块开启录像信令后, 首先经过取流模块向流媒体服务发送取流信令, 然后将流媒体转发的视频数据发送到云视频存储软件为一次录像的开始。当录像服务接收到录像任务管理模块下发的停止录像信令, 录像服务首先向流媒体服务发送停止取流的信令, 然后通知云视频存储软件停止录像为一次录像的结束。
6) 视频帧分析
帧分析模块主要是对流媒体服务读取的视频数据进行帧分析, 从视频数据中分析出关键帧等信息, 为系统提供关键帧查询和关键帧回放提供技术支持。
2.5.1.4 交通云存储异构软件ASS
异构存储软件ASS( Asynchronous Storage Service) 主要负责接入第三方iSCSI/FC 标准存储设备, 软件集成安装在ASSN节点内, 具体负责接入第三方iSCSI/FC 存储设备的工作。
软件主要由三个模块实现, 分别为识别模块、 挂载模块和管理模块; 主要和CVS交互。经过识别模块和挂载模块实现对第三方标准存储设备的兼容工作。经过管理模块与存储设备以及上层CVS之间进行交互。整体软件架构如下图所示:

图5. ASS软件架构
1) 识别模块
探测到异构设备后获取其相关系统信息, 将其视作为存储设备, 在设备目录中添加相应节点。
2) 挂载模块
将新加的设备节点转化为通用存储设备节点, 并挂载到软件系统中以备CVS使用。
3) 管理模块
本模块的功能是: 将通用本机内存储设备和异构设备统一管理, 实现设备的加入和退出, 以及相关状态的保存和记录。
2.5.2 硬件设计
混合类云存储系统硬件主要由存储管理服务器( 存储管理节点CVMN) 、 存储设备( 存储节点CVSN) 、 异构服务器( 第三方存储服务节点ASSN) 和运维服务器组成。
2.5.2.1 交通云存储管理节点CVMN
交通云存储管理节点: CVMN( Cloud Video Manage Node)
在云存储标配服务器上集成安装视频云管理软件CVM( Cloud Video Manger) , 其主要功能包括交通云存储系统内资源管理、 存储节点管理、 集群管理、 策略调度、 运维监控等。
根据交通云存储系统的规模情况和可靠性要求管理节点部署可分为: HA部署和集群部署两种模式。其中HA部署模式适用于1024路以内监控前端视频读写规模, 经过两台服务器做双机热备; 集群部署模式适用于较大型的交通云存储系统, 能够进行三台或三台以上配备, 集群部署的服务器台数必须是奇数增加。集群部署的优势在于经过交通云存储管理节点内部集群功能将协调各节点设备资源, 将用户配置、 数据库信息、 策略计划进行统一进行调度, 整体性能呈现线性增长。同时也增加了系统的可靠性, 多台设备的故障不会影响到系统的运行。
无论是HA部署模式还是集群部署模式, 交通云存储都使用唯一的虚拟IP地址对外提供服务。
2.5.2.2 交通云存储节点CVSN
交通云存储节点: CVSN( Cloud Video Storage Node)
在存储设备上集成安装交通云存储存储软件CVS( Cloud Video Storage) 和视频云接入软件CVA( Cloud Video Access) 作为存储节点。
主要是响应交通云存储管理节点( CVMN) 和应用层的录像、 查询、 下载等操作申请, 以及管理物理存储设备和空间, 交通云存储节点模块具有以下功能:
Ø 负责根据接收云存储管理节点下发的录像计划, 并根据录像计划向对应的前端摄像头进行取流操作。
Ø 负责将接收到的录像数据写入到存储底层或从存储底层读取数据, 经过协议接口主要向API提供录像、 查询、 回放及下载服务。
Ø 提供存储设备的状态检测和信息上报功能。
Ø 存储底层: 使用Raid技术来保证数据安全, 支持节能的磁盘休眠功能。
2.5.2.3 第三方存储服务节点ASSN
第三方存储服务节点: ASSN( Asynchronous Storage Service Node)
在服务器上集成安装异构存储软件ASS( Asynchronous Storage Service) 、 交通云存储存储软件CVS( Cloud Video Storage) 、 视频云接入软件CVA( Cloud Video Access) 的接入第三方存储服务节点。
其主要功能是经过安装异构软件( ASS) 完成对第三方iSCSI/FC 标准存储设备的接入, 实现对项目已有资源的兼容性利用。使得第三方存储设备经过ASSN的整合后, 具备与CVSN同样的功能。
第 三 章 视频、 图片混合云存储设计
交通云存储系统应用于视频、 图片混合存储时, 主要是承担整个系统内的视频/图片的数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计, 在系统内部实现了多设备协同工作、 性能和资源的虚拟整合, 最大限度利用了硬件资源和存储空间。另一方面, 经过将云存储的存储功能、 管理功能进行打包, 经过开放透明的应用接口和简单易用的管理界面, 与上层应用平台整合后, 为整个交通监控系统提供了高效、 可靠的数据存储服务。
3.1 系统物理拓扑
视频图片混合云存储系统主要由存储管理节点( 服务器) 和存储节点( 物理存储设备) 两部分组成。系统内部需要配置的元数据信息由云存储管理服务器统一管理, 云存储管理服务器还需要负责集群内部的负载均衡, 失败替换等管理职能; 云存储系统能够组建海量的存储资源池, 容量分配不受物理硬盘数量的限制; 而且存储容量可进行线性在线扩容, 性能和容量的扩展都能够经过在线扩展完成。
视频图片混合云存储物理结构如下图所示:

图6. 视频图片混合云存储物理结构图
交通云存储管理节点( CVMN) : 部署存储管理服务器, 是交通云存储系统的核心节点, 作为云存储系统的调度中心负责云存储系统资源管理、 索引管理、 计划管理、 策略调度等。
根据项目对存储容量需求、 前端支撑数目、 性能要求、 可靠性要求, 存储管理节点能够按照两种方式部署: HA部署、 集群部署。
交通云存储节点( CVSN) : 作为云存储系统业务的具体执行者负责视频数据存储、 读取、 存储设备管理、 存储空间管理等。
3.2 系统功能设计
交通云存储系统面向视频、 图片应用定制化开发, 提供丰富的功能接口供上层交通综合管控平台调用, 主要功能如下图所示:

图7. 交通云存储系统功能图
3.2.1 视频存储功能
功能项
功能说明
视频录像
系统能够按照用户制定的计划保存前端设备采集的录像数据, 录像类型、 录像头由用户指定, 存储开启相关的资源。
动态修订录像类型: 前端采集视频数据过程中, 按报警类型能够修改录像的类型, 修改后采集的视频数据即时保存到系统中, 并在数据保存类型上得到反映。
视频检索
用户能够按监控点编号、 录像类型、 时间组合、 锁定、 标注等条件查询录像数据。
视频回放
支持根据监控点编号以及时间段、 录像类型对录像数据进行回放。
支持根据监控点编号以及时间段对录像数据进行回放时间定位。
支持快放、 慢放。
支持倒序回放。
支持I 帧回放。
支持手动停止回放。
视频下载
支持根据监控点编号以及时间段对录像数据进行下载。
支持断点续传。
视频锁定
支持指定的录像片段进行锁定, 锁定后的数据不被循环覆盖掉。
支持已锁定的录像片段锁定时长到期自动解锁。
视频标注
对录像数据信息所对应的标签进行打标、 存储、 备份等操作;
对录像等数据信息的标签信息进行查询、 检索、 筛选工作;
对录像等数据信息所对应的标签进行修改、 删除等操作。
视频删除
支持根据监控点编号、 录像时间