关于目标自动跟踪智能摄像机的探讨汇总.pdf

关于目标自动跟踪智能关于目标自动跟踪智能摄像机的探讨摄像机的探讨【摘要摘要】：智能一体化球型摄像机在视频监控领域发挥着越来越重要的作用,而目标检测与自动跟踪逐渐成为球型摄像机的一个重要发展方向。本文实现了智能球型摄像机控制系统软件功能,并在 PC 上实现了目标检测,在此基础上将检测到的目标信息处理后通过 PC 串口发送给球型摄像机,球型摄像机控制云台运动,从而实现目标跟踪.以自动跟踪为特点的球型摄像机被誉为“解放人力的运动的跟踪技术”，采用这种摄像机的监控系统可以智能地探测、跟踪运动目标，实现对运动目标的自动跟踪、录像、报警，彻底改变了视频监控系统只能作为辅助系统的局面。【关键词关键词】智能球形摄像机；目标检测；自动跟踪智能球形摄像机；目标检测；自动跟踪一、概述一、概述智能追踪高速球型摄像机是专为 IP 网络监控系统而设计的.搭载新一代电子活动目标识别和追踪技术，实现全方位无盲点监控.代表新一代安防监控产品的发展潮流。集成了全天候防护罩、云台和数字解码器及多种变焦功能的彩色黑白一体化摄像机。全天候防护罩符合国际标准 IP66防护等级，内置自动恒温装置。可适用于恶劣环境，安装方式采用吊装或壁装。球机可在水平方向实现360无限位旋转，垂直方向180旋转。智能追踪高速球型摄像机支持自动追踪、定时追踪、越界追踪、报警追踪四种追踪模式的设置。也支持手动追踪模式。用户可以根据自己的需求进行灵活编排。智能追踪高速球型摄像机支持系统接力追踪，当某个智能追踪球的活动目标逃离当前追踪画面，系统自动通知附近路线的智能追踪球启动追踪模式或者通知周围的普通摄像机启动活动目标检测功能。从而实现了球机到球机、球机到枪机、枪机到球机、枪机到球机的智能接力追踪。同时智能追踪高速球型摄像机支持绊线检测功能。用户可以在画面上设置虚拟的周界，当有活动目标穿越该条周界时，系统自动报警并可按照预设置启动追踪功能。绊线检测包含了单向、双向防传越功能。用户可以选择双向穿越禁止、单向穿越禁止2种模式，实现了灵活的周界穿越判断。真正实现了安防系统的智能化应用。智能追踪高速球型摄像机的特性使之适用于各种行业的应用。如平安城市、电力系统、部队弹药库、监狱、电信部门、银行保安、厂矿企业、智能小区、城市道路监控、机场、车站等各种监控场合。二、目标自动跟踪智能摄像机自动跟踪技二、目标自动跟踪智能摄像机自动跟踪技术应用现状术应用现状目前，在国内外市场，具备智能识别和自动跟踪技术的智能高速球有效地满足了平安城市、银行、机场等重点行业用户的特殊监控需求。以自动跟踪技术为例，高速球摄像机不需要通过后端的软件平台去控制，只要在前端就可以自动完成跟踪任务。与普通的高速球相比，采用自动跟踪技术的智能高速球的使用更便捷、更人性化，并且可以改变普通高速球“被动监控”的现状，实现“主动监控”。鉴于上述原因，以自动跟踪为特点的智能高速球摄像机被誉为“解放人力的运动的跟踪技术”，采用这种技术的摄像机，可以智能的探测、跟踪监控目标物体，实现对运动目标的自动跟踪、录像、报警，彻底改变了视频监控系统只能作为辅助系统的局面。该类型摄像机可以通过编程执行“智能巡逻”任务，即按照预先编程的巡逻路线扫描一个区域。当发现运动的目标物体后，摄像机会停止继续执行巡逻的程序，而对目标图像变焦放大，并及时跟踪目标，以便将目标物体录像，并发出报警。这些动作不需要操作人员的帮助，使得操作人员在紧急情况下，无需控制相关设备，可以及时处理报警或采取其它行动。同时，配合高清晰的自动变焦摄像头，当目标进入自动跟踪智能高速球的视线范围内时，所有的视频都会被清晰地传送到监控中心。另外，根据监控中心的相关指令，可指示智能高速球摄像机快速转动到希望的定点位置进行局部监控，同时能获得全局的监控视频信息和监控对象的局部信息。这无疑有效解决了目前安防监控过程中存在的多目标跟踪困难、监控死角、高速球转动的盲目性等问题，实现了360度全方位监控与局部调节跟踪的结合。另外通过采用自动跟踪锁定目标，更实现了自动的、全方位的、智能的过程监控，整个监控过程无需人为操作。正是由于智能高速球摄像机独具的“智能巡逻”功能，使得工作人员能够从繁杂的操作工作中解脱出来，在发生紧急情况下，能够更快速、便捷地将清晰的监控图像传送到监控中心，尤其是在平安城市等重要监控领域，自动跟踪技术显得尤为重要。随着智能高速球技术的不断发展和完善，自动跟踪技术在平安城市、机场等监控领域的应用更为广泛。以平安城市项目中的大型广场为例，该领域的监控范围较广，而且过往人员较多，极易发生突发性公共事件，要求监控摄像机能够快速跟踪并且精准锁定监控目标物体。在平安城市建设的这个大的应用平台上，采用自动跟踪功能的智能高速球将会发挥着更加重要的作用。三、智能化高速球的技术发展趋势三、智能化高速球的技术发展趋势随着安防市场的迅猛发展，以及安防市场消费理念的逐渐成熟，整个安防监控行业也朝着数字化、网络化、智能化的方向发展。作为高端的监控设备，高速球的技术创新、产品创新也迈入了一个新的阶段，功能的多样性、智能化可以说是当前智能高速球开发的主要趋势。目前，高速球的智能化主要包括三个方面的内容：第一是智能检测，例如树叶、云影、波浪、湿度等方面的环境干扰分析；第二是防破坏，当球机被遮挡、喷涂料、人为对设备破坏时，可以自我检测；第三是自动跟踪。在智能检测方面，目前一些智能高速球已经拥有随时检测球机内部温度和湿度，自动启动内部加热和降温设备，智能监控风扇转动状态等一系列功能。显然，这一系列防干扰的技术措施还远远不够，还需要很多智能化、针对性的功能有待开发。另外，随着智能高速球应用范围的更加广泛，一些特殊行业对于监控摄像机的专业化需求也在不断加强，需要安防监控厂商有针对性地推出专业化的技术方法以应对。厂商可以采用模块化设计，将智能高速球的各个部分功能按照组建方式设计，使得各项功能之间可以互相搭配，在提高销售灵活性的同时，可以更好地满足用户需求。比如煤炭行业需要应用防爆、防震的智能高速球；在化工厂等环境污染较为严重的区域，需要采用防腐蚀的智能高速球。四、快球智能化功能四、快球智能化功能 作为最具代表性的前端监控设备，快球的远距离控制、变倍、高清图像、预置位巡航、自动跟踪等功能在平安城市、交通、场馆、港口等项目/行业越来越发挥出重要的作用。但是随着恐怖活动的不断出现，再加上整个监控行业朝着数字化、网络化发展的进程，快球的智能化功能被更多地提上议事日程。而在此发展趋势下，自动跟踪成为了快球近年来取得飞速发展的智能化技术之一。1 1、前端智能化功能、前端智能化功能目前快球已经具备一些初步智能功能，如检测球机内部温度和湿度、自动启动内部加热和降温设备、智能监控风扇转动状态、智能识别系统衆-议等功能，然而这些智能功能只是针对球机内部工作环境及球机性能的智能检测，并非对外界被监控对象的智能检测及分析，而要真正在前端球机对监控目标进行智能化的检测，则需要结合 IVS 等智能模块(软件)来共同完成。虽然现在的智能化并未形成普遍的应用需求，但是可以预计，它将会在很多应用场合发挥传统产品无法比拟的作用，而且在未来的道路上它也将成为快球技术的主流趋势之一。快球的智能化功能主要分为由前端球机独立完成和由后端软件平台配合前端摄像机操作来共同完成两种。2 2、后端智能化、后端智能化所谓后端智能化是通过后台软件算法分析视频，然后对快球发出驱动命令。在前端独立完成快球智能化的功能，可以通过两种方法来实现，一是将智能模块的算法嵌入到球机的 DSP 芯片中来实现，另一种是增加智能模块，将模块的智能功能输入到球机的控制中完成。五、软件设计五、软件设计基于 Blackfin 561 DSP 的智能视频监控系统软件部分，由上层 PC 监控服务软件和底层 DSP 监控功能软件两部分组成。上层 PC 部分主要进行监控功能选择和监控结果的显示，底层 DSP 部分主要进行智能监控和压缩编码的算法实现。视频监控系统通过使用 UART 和 USB 接口作为联系 PC 和 DSP 的通道，以实现数据的交换。其中，使用异步串口(UART)作为监控系统与 PC 端监控软件的通信接口，完成底层监控程序和 PC 端监控服务软件之间的通信;使用 USB 控制器作为压缩码流的数据传输接口，完成压缩码流向 PC 端的输送任务。智能视频监控系统同时使用 Blackfin 561 DSP 的两个核进行处理，通过PC 服务软件和 DSP 端监控功能软件协同工作，其主要工作流程如图1所示。摄摄像像机机输输入入图图像像(frame)编编码码压压缩缩处处理理获获取取监监控控命命令令PC端端PC端端存存储储压压缩缩码码流流智智能能监监控控处处理理监监控控结结果果PC端端显显示示 核B 核AUSBUARTUART图1 智能视频监控系统的工作流程DSP 端接收到一帧图像后，利用 Blackfin 561 DSP 的两个核完成智能视频监控处理和视频编码压缩处理。智能视频监控处理部分，利用 Blackfin 561 DSP 的核 A 进行，它首先通过 UART 通信模块获得 PC 端监控功能选择模块的当前功能，以及这一功能的相应参数，然后根据相应的功能调用监控功能模块中对应的监控函数进行处理;最后再利用 UART 通信模块将处理的结果传送到 PC 端显示。视频编码压缩处理部分，使用 Blackfin 561 DSP 的核 B 进行，利用由ADI 公司提供的 H.264编码函数和 USB 驱动函数实现，这里就不赘述了。PC 端进行不同监控功能的切换或调整功能参数，在下一帧输入图像中将进行监控功能的切换和参数的调整。客户端软件客户端软件客户端软件是用户实现 DSP 监控操作的平台，主要由监控软件界面、监控功能选择模块、驱动函数模块组成。监控软件界面是监控系统和用户进行信息交互的平台，它整合了各个监控功能模块，用户通过它完成各个监控功能模块的调用、参数的选择、结果的显示等。PC 监控功能选择模块完成对底层 DSP 监控功能的调用，从而实现用户需要的相应的监控功能。驱动函数模块包括 UART 驱动和 USB 驱动。UART 驱动的作用是实现上层 PC的监控服务软件和底层 DSP 的监控功能程序之间的 UART 接口通信;USB 驱动的作用是通过 USB 接口接收底层 DSP 发送的压缩码流。DSPDSP 端监控功能软件端监控功能软件DSP 监控功能软件是整个监控功能实现的核心，由监控功能模块、H.264视频压缩模块和 UART 通信模块组成。DSP 监控功能模块经 PC 端监控功能选择模块进行调用，直接负责完成相应的监控功能，并将结果传输到 PC 端。H.264视频压缩模块负责将输入视频图像进行 H.264压缩，并使用 USB 接口将压缩后的视频图像传输到 PC 端。UART 通信模块负责利用协议实现和 PC 端的通信。DSPDSP 监控功能模块监控功能模块本文所设计的智能视频监控系统需要实现8个不同的智能视频监控功能。根据监控功能的不同性质和处理手段，主要分为：物体检测与数量统计、自动跟踪、入侵和遗留物体检测、摄像机模糊、遮挡及非法移动等4类不同功能。本模块通过从 PC 端功能选择模块获取监控信息，选择单一视频监控功能进行处理。监控功能模块流程如图2所示。运运动动检检测测物物体体检检测测数数量量统统计计自自动动跟跟踪踪入入侵侵检检测测摄摄像像机机检检测测丢丢包包检检测测输输入入图图像像功功能能选选择择结结果果输输出出图2 监控功能模块流程监控功能模块中大部分功能首先都需要进行相同的前期处理过程-运动对象的提取。本系统运动对象的提取主要包括背景建模和连通域标记两个部分，其主要流程如图3所示。图图像像序序列列目目标标检检测测背背景景建建模模阴阴影影去去除除背背景景更更新新区区域域标标记记运运动动对对象象信信息息图3 运动对象提取物体检测：物体检测：物体检测需要根据运动检测的结果判断当前运动物体所属的类别，如人体、四足动物、四轮机动车、非机动车等。其使用高斯背景模型进行运动检测，提取目标的形状特征，并对它们进行分类，最后输出运动物体的位置、类别。数量统计：数量统计：数量统计需要在物体检测的基础上，统计各类物体或一类物体的数目，在统计过程中，还需要区分个体和群体。其在分类的基础上，使用计数器统计当前帧中各种目标的数量。最后输出各类物体数目，如个体数目、群体数目;入侵检测：入侵检测：入侵检测需要判断场景中运动物体是否进入某一固定区域。其在运动检测的基础上，判断目标的位置与标定的”禁入”位置的相对关系，以实现入侵检测，最后输出入侵物体位置和类别;遗留物体检测：遗留物体检测：遗留物体检测主要是检测固定区域内箱包类物体的非法滞留问题。具体说，主要是检测行人将箱包等遗留到场景中的情况(重点是为了排除爆炸物和危禁品)。当然，也包括将场景中原有物体拿走的情况。通过判断物体在监控场景中出现的时间的长短，来判断是否为遗留物体，输出遗留物体的位置及大小;自动跟踪：自动跟踪：自动跟踪实现对于运动对象的连续检测，通过对运动物体的跟踪，获得其位置、速度、运动轨迹等运动信息。使用卡尔曼滤波的方法进行目标跟踪，输出运动物体的位置及中心坐标等;摄像机模糊、遮挡及非法移动检测：摄像机模糊、遮挡及非法移动检测：摄像机模糊、遮挡及非法移动检测是需要发现影响监控摄像机正常工作或者威胁监控摄像机自身安全的活动。使用DCT 变换，统计全局的图像变化信息，判断摄像机是否模糊;利用图像灰度直方图变化信息，判断摄像机是否被遮挡;使用模板匹配的方法，判断摄像机是否非法移动，输出模糊、遮挡及非法移动情况信息和程度。1 1、三缓冲结构、三缓冲结构设置三缓冲组成缓冲区队列。在实际处理过程中，使用其中两个缓冲区进行数据接收，另外一个缓冲区进行图像处理等(具体的三缓冲区结构如图4所示)。Frame0Frame1Frame2Frame1Frame2Frame0数数据据处处理理数数据据接接收收图4 三缓冲结构用回调函数对缓冲区进行管理，每接收完一整幅图像后产生一次回调。使用三个变量维护当前缓冲区状态，Frame Buffer1和 Frame Buffer2用于维护在循环中接收的两个缓冲区，Frame Counter 为当前最新接收到的缓冲区。每次接收数据的存储位置根据 Frame Buffer1和 Frame Buffer2的值决定。在主循环过程中，使用一个变量 Active Index 维护当前处理中的缓冲区。每当开始处理新的一帧时，交换 Frame Counter 和 Active Index 的值，并同时更新 Frame Buffer1和 Frame Buffer2。实现将上一帧处理结束的缓冲区加到输入缓冲中，而将最新一帧缓冲并进行处理的目的。2 2、算法优化、算法优化系统对大部分的功能实现算法进行了优化。在物体检测、数量统计、自动跟踪、入侵检测、遗留物体检测等算法中都需要使用背景模型。因此，系统重点对背景建模算法进行了优化。背景建模主要包括两个部分：背景建模主要包括两个部分：一是用当前图像和背景模型的均值和方差矩阵进行比较，得到前景图像和更新后的背景模型;二是对前景图像进行膨胀、腐蚀的形态学运算。背景模型更新：背景模型更新：模型更新过程涉及的数据有：当前图像帧缓冲(8位)、当前前景帧图像(8位)、背景均值模型(32位)、背景方差模型(32位)、前景驻留时间矩阵(16位)。为了提高运算速度，需要首先将内存搬运到 L1中再进行处理。其步骤如下：第一步：在 L1内存中分配行缓存区用于计算，采用 PINGPONG 结构设计双缓冲区。第二步：使用两个 DMA 通道用于输入和输出。首先使用异步 DMA 方式输入一行输入图像、均值和方差矩阵及驻留时间矩阵，交替使用 current 和 bck 指针分别指向输入和处理缓冲区，并不断更新实现双缓冲结构。这里要求从第二行输入起使用同步 DMA 方式进行传输，因此使用了回调函数 Line In Caqll Back 和 input_index 变量，实现依次输入4个缓冲区。由于这里要求将输入并计算后的新均值、方差和驻留时间行矩阵传回SDRAM 中，因此输出 DMA 采用异步方式，等待完成后才会开始下一次的 DMA 输入。这样，在一定程度上，可避免同时向一个 SDRAM 区读/写内存。膨胀、腐蚀算法：膨胀、腐蚀算法：这里同样也使用行处理方式进行膨胀、腐蚀两步运算。根据膨胀、腐蚀算法的特点，需要输入3行缓冲，然后进行一行的处理。因此，需设计使用6行输入的前景缓冲和两行膨胀、腐蚀处理结果作为3行输入和1行输出双缓冲。由于输入和输出的缓冲区没有冲突问题，因而输入和输出均采用同步模式，并注意输入缓冲增量设为一行。六、自动跟踪技术的实现方式及工作原理六、自动跟踪技术的实现方式及工作原理自动跟踪技术是在智能识别的基础上，对图像进行差分计算，自动识别视觉范围内目标的运动方向，并自动控制云台对移动目标进行跟踪目标在进入智能高速球的范围到离开的这段时间内，通过所配置的高清晰自动变焦镜头，使所有动作都被清晰地传送到监控中心。而一旦某个区域发生报警时，其它相关的智能高速球将自动旋转到报警点开始追踪，保证监控图像能够记录目标物体的移动全过程。自动跟踪技术的实现完全是基于其特有的功能模块，智能高速一般由动力机构、精密传动装置、CCD 摄像头、数字解分组成。机械设计结构紧凑轻巧，定位精度和可靠性高，这使得智能监控摄像机能够快速、准确地进行自动跟踪，即可任意定位，又可以全范围自动巡航，实现真正的无盲点监控。另外，智能高速球摄像机的镜头部分一般会选择高性能的镜头，光学变焦倍率一般可达20倍以上。这使得摄像机可以针对跟踪目标进行自动变焦及聚焦，当目标与摄像机的距离发生变化时，还能够自动调整焦距，以保证目标物体在画面中的合适比例，在锁定目标物体的同时，达到高清晰监控的目的。自动跟踪技术，有效满足了用户监控清晰度、距离控制、监控范围、智能化等方面的需求，而且适用于平安城市、银行等诸多监控领域。但是，由于监控环境的复杂性，光达到上述的要求还是不够的，在跟踪监控过程中，会出现多个移动物体的情况，这很有可能造成监控不准确的问题。针对上述问题，自动跟踪技术采用了锁定跟踪的方法，即操作者指定目标后，智能高速球会自动跟踪物体的移动轨迹，针对特定人物或物体，摄像机可以进行锁定跟踪，即使有其他的人或移动物体进入摄像机的监控范围，摄像机也不会跟丢之前锁定的目标物体。在人流量较大广场，只要手动锁定被跟踪的目标之后，就不会出现因外部原因而造成的跟踪不准确的现象。与此同时，针对监控目标突然消失的特殊情况，某产品设定了相关物体消失之后的三种选择，第一种是在消失的地点持续跟踪；第二种是可以放大至最佳跟踪倍率后，持续跟踪目标移动物体；第三是中断自动跟踪后，可以放大至起始点的跟踪倍率。另外，随着智能高速球应用的逐渐深化，用户对于机芯及硬件的选择范围也更加广泛。部分智能高速球是通过内置某一款一体化机芯来实现自动跟踪功能，这使得该类高速球的兼容性较差，如果采用其他品牌的机芯就无法实现自动跟踪的功能。针对兼容性的问题，智能高速球采用模块化设计，通过智能高速球的硬件就可以实现自动跟踪，这样高速球可以兼容更多的机芯，使用范围更广。七、自动跟踪智能摄像机与视频移动探测七、自动跟踪智能摄像机与视频移动探测技术的区别技术的区别（1）具有针对复杂背景下的运动目标捕获跟踪功能。即只要视场出现运动目标，则自动捕获跟踪功能该运动目标，实现真正意义上的 24 小时无人保安值守！支持报警找点并启动跟踪，也就是说：跟踪球和报警设备可通过 485 控制线进行连接，从而有报警信号出现跟踪球会自动转移到指定位子，然后启动跟踪。（2）自动跟踪球型摄像机通过运动探测的算法可以设定被跟踪目标的尺寸，使任何小于设定尺寸的目标，如小鸟、动物、或其它物体都不会被跟踪。而视频移动探测就很难做到这点。（3）内置超级动态摄像机；内置高速预置云台及解码器，通迅协议公开，可适用多种控制主机；进口步进电机，运行平稳可靠；128 个预置点及自动巡航、多点间巡视功能；具有防雷击、防过压、防静电、防电磁干扰等功能。兼容国内外各种协议！八、结束语八、结束语综上所述，高速球的技术发展与市场需求应该是一个相互影响、相互促进的过程，自动跟踪技术就是安防监控市场细分化、专业化的产物。而且，随着市场的需求的不断深化，该项技术也逐渐成熟，从第一代的区域跟踪技术，到第二代的锁定跟踪技术，有效地提升了智能高速球摄像机跟踪监控的准确性，这也是智能高速球技术进步的一种体现。可以说，正是基于市场的需求，使得高速球智能化技术能够更广泛的应用到产品线，有效地满足了特殊行业用户的专业化需求；另外一个方面，随着智能高速球技术创新的不断加强，也带动了安防监控市场对于数字化、网络化、智能化监控设备的需求。随着高速球在平安城市、银行、机场等领域应用的更加广泛，仅以自动跟踪技术为代表的智能化高速球，还远远不敷需要，它必须要增添更多的智能识别功能，才能使它真正能配上“智能化”这一名称。因此，真正的智能化，是高速球和所有监控摄像机的发展方向。