基于嵌入式Linux的视频采集编码发送模块的设计及其实现.doc
《基于嵌入式Linux的视频采集编码发送模块的设计及其实现.doc》由会员分享,可在线阅读,更多相关《基于嵌入式Linux的视频采集编码发送模块的设计及其实现.doc(98页珍藏版)》请在咨信网上搜索。
分类号 密级 重庆邮电大学硕士学位论文 论文题目 基于嵌入式Linux视频采集编码发送 模块设计和实现 英文题目 The Design and Realization of Video Capturing and Encoding and Transiting Module Based on Embedded Linux 硕士硕士 指导老师 学科专业 电子和通信工程 论文提交日期 年 月 日 论文答辩日期 年 月 日 论文评阅人 答辩委员会主席 年 月 日 独 创 性 声 明 本人申明所呈交学位论文是本人在导师指导下进行研究工作及取得研究结果。据我所知,除了文中尤其加以标注和致谢地方外,论文中不包含其它人已经发表或撰写过研究结果,也不包含为取得 重庆邮电大学 或其它教育机构学位或证书而使用过材料。和我一同工作同志对本研究所做任何贡献均已在论文中作了明确说明并表示谢意。 学位论文作者署名: 签字日期: 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解 重庆邮电大学 相关保留、使用学位论文要求,有权保留并向国家相关部门或机构送交论文复印件和磁盘,许可论文被查阅和借阅。本人授权 重庆邮电大学 能够将学位论文全部或部分内容编入相关数据库进行检索,能够采取影印、缩印或扫描等复制手段保留、汇编学位论文。 (保密学位论文在解密后适用本授权书) 学位论文作者署名: 导师署名: 签字日期: 年 月 日 签字日期: 年 月 日 摘要 伴随大家对安全要求不停提升、嵌入式微处理器和多媒体压缩技术和无线传输技术快速发展,无线实时视频监控系统得到了快熟发展和应用。本文基于DM6467平台,使用TVP5158芯片实现多路视频复合采集,经过解复用后,远程调用DSP端H.264编码器完成视频流实时编码,最终利用RTP协议封装视频数据并经过MF210无线模块实现视频无线传输。论文最终设计实现了一个应用在无线实时视频监控系统中多路视频采集编码发送方案。 论文首先研究了应用在无线视频监控系统中关键技术,包含DaVinci技术、V4L2视频采集驱动规范、H.264编码算法和RTP流媒体实时传输协议和WCDMA技术等。随即分析了模块功效需求,并依据需求分析设计了视频采集编码发送模块总体架构。接下来论文研究了DaVinci开发平台硬件和软件开发环境,并依据开发需求完成嵌入式开发环境搭建,关键工作包含嵌入式Linux服务器搭建、开发工作站配置、嵌入式Linux内核移植等。 在以上基础上,完成视频采集、视频编码、视频发送三个子模块具体设计和实现。分别在视频采集子模块中,设计和实现基于V4L2采集驱动规范多路视频复合采集;在视频编码子模块中,设计和实现基于Codec Engine机制H.264编码,关键工作包含H.264编码器构建和编码应用程序实现。在构建H.264编码器过程中关键完成X.264编码算法xDM封装、Codec Server生成、Codec Engine引擎配置等,在编码应用程序中,经过调用H.264编码器VISA API接口,实现采集视频数据实时编码;在视频发送子模块中,先构建WCDMA网络传输链路,关键工作是完成MF210驱动移植、PPP移植和PPP拨号实现,然后在应用层利用RTP(实时传输协议)封装编码后NAUL数据,最终创建socket,将打包而成RTP数据包发送到wcdma网络中。 在测试阶段,经过对系统整体测试,验证了课题成功完成了模块设计预期目标。 关键字:视频采集编码发送模块;Davinci,V4L2,H264,xDM,WCDMA Abstract With the constant improvement of the people to safety requirements, the embedded microcontroller processor and multimedia compression technology and the rapid development of wireless transmission technology, wireless real-time video monitoring system for the development and application of cook. DM6467 based platform, this paper use TVP5158 chip to realize the collection of multi-channel video composite, after solution reuse, remote call DSP end of h. 264 encoder complete video streaming real-time encoding, finally using RTP protocol encapsulation video data and realize the wireless transmission of video by MF210 wireless module. Final design thesis implements a application in wireless real-time video monitoring system of multi-channel video acquisition coding send package. Paper first studied the application of key technology in wireless video monitoring system, including the DaVinci technology, V4L2 video acquisition drive standard, h. 264 encoding algorithm and RTP streaming media real-time transmission protocol and WCDMA technology, etc. Then analyzed the module function demand, and according to the demand analysis and design the overall architecture of the encoding video collection is sending module. The paper studied the DaVinci development platform of hardware and software development environment, and according to the development needs to complete embedded development environment set up, the main work includes embedded Linux server set up, develop the workstation configuration, embedded Linux kernel transplantation, etc. On the basis of above, complete the video acquisition, video coding, video sent three child module detailed design and implementation. In video acquisition module, the design and implementation based on V4L2 acquisition drive specification composite of multi-channel video acquisition; In video coding module, the design and implementation based on the Codec Engine mechanism of h. 264 coding, the main work including h. 264 encoder the implementation of the construction and coding applications. In construction of h. 264 encoder mainly completed in the process of x. 264 encoding algorithm of xDM encapsulation, Codec Server generate, Codec Engine Engine configuration, etc., in coding the application by calling the h. 264 encoder VISA API interface, realize the acquisition of video data real time coding; In video send sub module, transmission link of the construction of WCDMA network first, main job is to complete MF210 drive, the PPP to transplant with the PPP dial-up, and then in the application layer using RTP (real-time transport protocol) encapsulation encoded NAUL data, finally create a socket, will be packaged into RTP packets sent to the WCDMA network. During the testing period, through the whole system testing,it verify that this paper successfully completed the anticipated target of the module design. Keywords: module of video Capturing and Encoding and Transmiting, Davinci, H264, xDM, V4L2, WCDMA 目录 摘要 I Abstract II 目录 IV 第一章 绪论 1 1.1 视频监控系统行业背景 1 1.2 课题研究背景及意义 3 1.3 论文组织架构 4 1.4 本章小结 5 第二章 视频采集编码发送模块总体设计 6 2.1 模块相关关键技术研究 6 2.1.1 Davinci技术 6 2.1.2 V4L2视频采集驱动接口 7 2.1.3 H.264视频编码技术 7 2.4.4视频传输协议和技术 8 2.2模块架构设计 9 2.2.1视频监控系统构架 9 2.2.2 模块需求分析 10 2.2.3 模块硬件平台选择 11 2.2.4 模块总体架构设计 12 2.3 本章小结 13 第三章 搭建嵌入式开发环境平台 14 3.1 DaVinci硬件开发环境 14 3.1.1 DM6467处理器特点 14 3.1.2 采集译码器TVP5158功效概述 15 3.2 DaVinci软件开发环境 16 3.2.1 xDM算法标准介绍 17 3.2.2Codec Engine概述 18 3.3 嵌入式开发环境搭建 21 3.3.1 Linux服务器搭建 21 3.3.2工作站配置 23 3.3.3 Davinci平台初始化 23 3.4 本章小结 27 第四章 视频采集编码发送模块设计和实现 28 4.1视频采集模块设计实现 28 4.1.1 视频采集模块设计 28 4.1.2 V4L2编程接口 29 4.1.3视频采集模块实现 30 4.2视频编码模块设计和实现 34 4.2.1 视频编码模块设计 34 4.2.2 H.264编码器实现 34 4.2.3视频编码模块实现 46 4.3视频传输模块设计和实现 48 4.3.1视频传输模块设计 48 4.3.2 视频传输链路实现 48 4.3.2视频传输模块实现 51 4.4 本章小结 53 第五章 系统测试 55 5.1 测试内容和预期目标 55 5.2 测试过程 56 5.2.1 测试网络环境搭建 56 5.2.2 测试步骤 57 5.3 测试结果及分析 58 5.4 本章小结 60 第六章 总结和展望 61 6.1 工作总结 61 6.2 不足和展望 61 致谢 63 参考文件 64 附录 攻读硕士学位期间科研工作 67 第一章 绪论 1.1 视频监控系统行业背景 伴随大家对安全要求不停提升和嵌入式微处理器、多媒体压缩技术和无线传输技术迅猛发展,无线实时视频监控系统得到了快熟发展和应用。从技术角度上研究视频监控系统,能够将视频监控系统划分为三个阶段,分别是:第一阶段模拟视频监控系统(CCTV),第二阶段数模结合视频监控系统(DVR)。而伴随多媒体传输技术发展,关键是信息编解码技术发展和Internet网络和无线网络发展,数字视频监控系统又可被划分为以数字录像设备为关键数字化当地视频监控系统和以嵌入式视频服务器为关键数字化远程视频监控系统,即第三代网络视频监控系统。多年来个人化、智能化和网络化将是未来视频监控市场关键发展趋势[1],视频监控应用发展过程图1.1所表示。 图1.1 监控应用变迁 一.模拟视频监控系统 模拟视频监控系统使用专用同轴线缆传输模拟视频信号,它系统硬件组成关键部分是摄像机、线缆、录像机和监视器等设备。伴随多媒体技术编解码技术发展,微处理器性能提升和网络带宽提升,视频监控系统在硬件结构方法、功效实现、性能和扩展性方面全部有了重大改变,视频在系统组成上愈加灵活个性化,功效上愈加丰富、全方面,人机交互愈加友好易于操作,系统外围接口愈加丰富且统一,便于系统功效拓展。不过,因为视频信息流在系统中仍然是以模拟信号传输,视频监控系统系统构架难以发生巨大变革,同时模拟视频监控系统网络结构是一个单向、单功效形式信息采集传输网络,所以即使系统整体技术已发展到很成熟技术水平,不过因为以上系统结构和网络结构局限,模拟监控系统发展已经抵达一个瓶颈阶段,难以满足日益提升视频监控需求。模拟监控系统关键缺点是: (1) 系统监控区域有限。因为模拟信号在同轴电缆传输范围有限,造成系统通常只适合应用在范围较小监控区域; (2) 系统扩展能力差。对于已建立好监控系统,因为其组网架构和系统功效架构局限,若要去增添设备,则需要大范围修改系统,甚至重建系统。 (3) 不能形成有效报警联动。因为系统各部分独立运行,相互之间协议不能发生通信,造成联动只能在很小范围内进行,不便对系统进行有效掌控。 所以,要满足对视频监控更高要求,监控数字化是必由之路。而且数字通信快速发展,也保障了数字化可能性。 二.数字视频监控系统 90年代初,微处理器技术和彩色视频技术发展推进了数字视频监控系统出现和发展。数字视频监控系统系统利用微处理器对数据高速处理能力进行视频采集和编码等处理,利用彩色视频技术在高分辨率显示器上实现多画面清楚显示,大大提升了视频监控系统质量。这种基于微处理器多媒体主控平台系统被称为数字视频监控系统。数字视频监控系统关键技术产品是DVR,采取windows平台,在个人计算机上安装不一样型号视频显卡和对应DVR软件,用户能够得到对应1、2、4路采集视频,并能够得到实时语音和视频传输服务。 不过因为视频编解码技术发展和网络技术发展滞后,有限带宽不能支持传输数据量巨大视频数据,监控信息大多只局限于当地系统,难以进行远程视频监控。不过市场对视频监控更高需求不停推进着视频编解码技术、流媒体技术和网络技术发展,从而也把网络视频监控推向了发展肯定。 三.网络视频监控系统 90年代末期,伴随计算机处理能力提升、多媒体编解码技术发展、网络带宽和存放容量快速提升、和多种视频处理技术发展,以嵌入式技术为关键平台,以网络、通信技术为依靠,以智能图像分析为特色网络视频监控系统正快速登上视频监控舞台,引发了视频监控行业技术革命,赢得了学术界、 用户高度重视。网络视频监控出现使得视频监控开始向道路交通、家庭、教育、企业信息化、医疗等新利用领域渗透[2]。 网络视频监控即IP监控,网络视频监控就是依靠有线或无线IP网络以数字化形式实现视频信息远程传输。只要是网络可达地方,不管是以有线还是无线方法,只要有需要就能够轻松地实现视频监控和视频数据存放。同时,网络视频监控还能够完美和其它类型监控系统进行结合,便于系统兼容和扩展。 尽管目前网络视频因为其成本限制,使其应用关键局限于智能交通、平安城市等大型项目中,但伴随社会发展、人民经济水平提升和对安防监控要求提升,智能家居、家庭安防等行业应用正在崛起[3]。同时,因为智能监控所含有立即、正确、便捷和节省资源等优势,伴随技术发展市场扩张,新一代网络化、智能化和个人化视频监控有极大研究价值,必将得到广泛推广和应用[4]。 1.2 课题研究背景及意义 伴随多年来社会不停快速发展,各国各行业对安防越来越重视,视频监控行业取得了长足发展。在中国,伴伴随技术日渐成熟和成本降低,和在“平安城市”工程、世博会、奥运会等重大项目和事件推进下,视频监控市场得以快熟发展和结构调整,使得基于网络数字监控逐步成为市场主导,而传统模拟监控市场逐步萎缩。现在基于嵌入式无线流媒体技术是网络视频监控市场中应用最为广泛视频监控技术。 基于嵌入式无线流媒体技术是嵌入式技术、无线网络技术、视频编码技术和流媒体传输技术结合[5]。在嵌入式方面,DaVinci技术融合了ARM和DSP技术,这么使得达芬奇处理器既含有ARM良好控制功效,又有DSP强大计算能力,能够满足更多应用场所需求。在传输方面,无线视频监控含有高移动性、架设灵活、管理方便和综合成本低优点。现在WCDMA是中国应用最为广泛3G网络制式,假如支持HSPA网络话,那么理论最高上行是5.76Mbps,理论最高下行是7.2Mbps,假如是支持HSPA+网络上网卡设备,理论最高下行则是21Mbps。这么理论带宽足以满足无线实时流媒体传输,但在实际利用中因为无线信道高信噪比、高衰落等复杂性和网络本身缺点造成无线信道容量有限,要实现清楚、实时无线视频传输仍然存在困难。在编码方面, H.264编码技术因其低码率(高压缩比)、高质量画面、容错能力强、网络适应性强,逐步得到学术界和工业界广泛认可,成为目前无线视频编码领域最为热门技术之一。在流媒体传输方面,RTP协议是应用很广泛流媒体实时传输协议,针对流媒体传输连续性、实时性和占用带宽较大特征,RTP协议常常配合使用UDP不可靠传输协议来传输数据。 即使视频压缩技术和无线传输带宽有了长足进步,但考虑到无线视频传输中视频数据量庞大、传输实时性要求高而无线信道带宽有限,完成视频数据在无线信道中上实时传输仍然是一个巨大挑战。 本课题设计源于本人硕士期间参与科技型中小企业技术创新基金项目《基于TD-SCDMA远程无线视频监控系统》。课题方案中ARM微处理器经过V4L2编码驱动接口控制 TVP5158 芯片实现视频多路复合采集,经过解复用以后,把采集视频数据进行 H.264 实时压缩编码,在应用层利用RTP实时传输协议封装视频数据,最终经过MF210 无线发射模块把视频数据发送到 WCDMA网络中。论文最终完成了无线实时视频监控系统中视频采集、编码、发送模块设计和实现。 1.3 论文组织架构 本论文一共分为6章,其中,第一章是绪论部分,第二至第五章是论文主体,第六章是论文工作总结和展望。 第一章是绪论部分。从视频监控从模拟到数字、网络发展历史讲起,介绍了视频监控发展,本课选题背景、意义及关键研究内容。 第二章是模块总体设计。首先研究了和模块相关关键技术,然后分析了模块功效需求,并依据功效分析设计了视频采集、编码、发送模块总体架构。 第三章是搭建系统开发平台。首先分析了DaVinci硬件和软件开发环境,并依据开发需完成嵌入式开发环境搭建,关键工作包含嵌入式Linux服务器搭建、开发工作站配置、嵌入式Linux内核移植等。 第四章是系统软件设计和实现部分。分别设计实现了视频图像采集、视频图像编码和视频图像发送三个子模块。 (1).视频采集子模块:设计实现基于V4L2采集驱动规范视频采集。 (2).视频编码子模块:设计实现视频数据H.264压缩编码。具体实现过程是:构建H264编码器,关键工作包含完成X.264编码算法xDM封装,Codec Server生成、Codec Engine引擎配置等;最终在应用层远程调用编码器VISA API接口实现视频编码; (3)视频发送子模块:实现视频数据无线发送。先构建WCDMA网络传输链路,关键工作是完成MF210驱动和PPP移植,和ppp拨号实现,然后采取基于UDP协议RTP流媒体实时传输协议打包视频数据,最终创建socket发送数据到wcdma网络中。 第五章是对模块软件性能测试和验证。结合整个视频监控系统进行测试,经过实测图像来评定系统设计实现完成情况。 第六章 对论文进行总结及下一步研究方向。 1.4 本章小结 本章关键介绍了该课题研究背景;分析了目前视频监控技术研究现实状况;分析了系统背景和应用价值;最终指明了该课题研究内容和编排了本论文组织结构。 第二章 视频采集编码发送模块总体设计 本章首先从硬件平台、视频采集子模块、视频编码子模块、视频发送子模块方面研究了适适用于本课题DaVinci技术、V4L2视频采集驱动规范、H264编码算法和WCDMA技术和RTP流媒体实时传输协议等。然后分析了视频监控系统总体架构,在此基础上分析了模块功效需求,依据需求分析设计了模块整体架构。 2.1 模块相关关键技术研究 2.1.1 Davinci技术 达芬奇技术由达芬奇处理器、达芬奇软件、达芬奇开发工具和达芬奇技术支持组件等优化组成,其结构图2.1所表示[6][7]。 图 2.1达芬奇技术结构图 DaVinciTM处理器是TI企业为面向视频编解码应用而专门设计一款数字流媒体处理器。在硬件方面,DaVinci技术集成了ARM和DSP双核处理器,它在DSP处理器运行DSP/BOIS操作系统,利用其强大数据处理能力和高速运转速度实现对音视频编解码和实现图像相关处理;在ARM处理器运行MontaVista Linux操作系统,利用其良好控制功效,实现对外围设备控制,如设备初始化、远程调用DSP算法库等;在软件方面,TI为视频软件开发商提供了标准化编码器接口,增强了编码器移植性,简化了二次开发难度,同时TI还提供了集成处理器、软件、工具等支持,简化了设计和开发进程,加速了产品开发和创新速度。 2.1.2 V4L2视频采集驱动接口 V4L2是Linux平台下视频采集设备驱动程序开发一套规范。它为Linux中视频设备访问提供了通用接口,在Linux系统中,V4L2驱动Video设备节点路径通常/dev/video/中videoX。 V4L2是一个两层驱动结构:上层是videodev模块,当videodev初始化后,它把自己注册为一个主设备号为81字符设备,同时注册自己字符驱动组员函数;下层是V4L2驱动程序,它实际上是videodev用户端,videodev经过V4L2驱动程序组员函数来调用V4L2驱动程序[8]。它使用分层方法给驱动程序开发提供了清楚模型和一致接口,方便驱动程序开发。 在应用程序实现视频采集过程中,通常见到两个V4L2系统调用是ioctl()和mmap(),其中 ioctl()系统调用负责控制设备I/O通道,mmap()系统调用使得进程之间经过映射同一个一般文件实现共享内存。 2.1.3 H.264视频编码技术 伴随多年来嵌入式流媒体技术快速发展,这使得视频会议,视频监控,可视电话,和视频直播等得到了长足发展。不过网络带宽毕竟是有限,尤其是带宽较窄无线传输环境中,在所以我们需要在尽可能确保图像质量前提下,降低视频信息中冗余量,从而缓解无线网络带宽,这也是视频压缩目标。所以,视频编码技术也得到了更广泛应用和发展。 H.264 标准[9]正是在这种大背景下诞生。H.264标准是由ITU-T和ISO/IEC联合开发,它定在覆盖整个视频应用领域,包含:传输DVD和数码相机高清楚度视频应用、传输电视广播标准清楚度和高清楚度视频应用、传输Internet上视频流应用和传输低码率无线视频应用等。 H.264从功效上能够分为两层:VCL层(视频编码层)和NAL层(网络提取层)。VCL层关键目标是尽可能独立于多种网络情况下进行数据高效编解码。VCL关键完成对块、宏块、片等语法等级定义和关键压缩引擎,压缩单元关键完成运动赔偿、变换编码、熵编码等。NAL层关键目标是依据不一样网络情况,对VCL层数据进行打包和发送。 H.264作为一个新型高质量低码率视频编码标准,含有适用性强、压缩率高、图像质量好等特点。在相同重构图像质量下,H.264和H.263 和MPEG4 标准相比,能节省 50%码率。H.264标准还引进了面向 IP 包编码机制,有利于网络中分组传输,支持网络中视频流媒体传输。含有很强抗误码特征,可适应丢包率高、干扰严重无线信道中视频传输[10][ 11]。 2.4.4视频传输协议和技术 1.RTP协议 RTP(Realtime Transport Protocol) 实时传输协议是针对Internet上多媒体数据流传输一个协议,它描述了程序管理多媒体数据实时传输方法,作为RFC1889被IETF公布。 RTP数据包由RTP首部(RTP Header)和RTP负载(RTP Payload)两部分组成。RTP协议是用来传输含有实时特征数据,它提供端到端实时数据传输服务。RTP数据通常配合UDP协议使用,利用UDP多路复用及校验和服务共同完成实时数据传输功效, UDP建立在IP协议基础上,为用户提供了一个而向不可靠、无连接数据传输服务,适合传输对实时性要求较高数据业务。 2.PPP协议 PPP(Point-to-Point Protocol点到点协议)是在相同单元之间传输数据包链路层封装协议。这种链路提供全双工操作,并根据次序传输数据包。协议设计目标关键是用来经过拨号或专线方法建立点对点连接发送数据,使其成为多种主机、网桥和路由器之间简单连接一个共通处理方案。 在 20 世纪 80年代末,串行线互联网协议(Serial Line Internet Protocol,SLIP)因传输性能问题阻碍了互联网发展,于是大家开发了 PPP 协议来处理远程互联网连接问题[12]。PPP不仅支持异步链路,也支持面向比特同时链路,同时克服了SLIP只能静态分配IP缺点,PPP 协议满足了动态分配 IP 地址需要,而且PPP协议经过NCPs对多个网络层协议提供支持。所以,PPP 协议在接入网中取得了广泛应用。 PPP 协议关键由下面四个部分组成: •封装:一个封装多协议数据报(IP数据报)方法,实现了在同一链路上传输不一样网络协议复用技术。数据包最大长度由具体网络MTU决定。 •链路控制协议(LinkControl Protocol,LCP):用于建立、配置、测试和管理数据链路连接。 •网络控制协议(NetworkControlProtocol,NCP):协商该链路上所传输数据包格式和类型,建立、配置不一样网络层协议。 •口令认证协议(Password Authentication Protocol,PAP)和质询握手认证协议(Challenge-Handshake Authentication Protocol,CHAP):为PPP连接提供用户认证功效,能够确保PPP连接安全性。 PPP连接建立关键经过三个阶段,第一阶段:LCP连接协商阶段,关键完成对基础通讯方法进行选择,第二阶段:CHAP密码认证阶段,关键完成用户端权限认证,第三阶段:NCP网络协商阶段,关键完成对上层网络层协议配置。经过以上三个阶段,一条PPP通信链路便建立起来了。 3. WCDMA技术 WCDMA是一个由3GPP具体制订,基于GSM关键网,是第三代移动通信系统。WCDMA是一个ITU(国际电信联盟)标准,它是从CDMA(码分多址)演变来,在官方上被认为是IMT-直接扩展。 现在WCDMA有Release 99、Release 4、Release 5、Release 6 Release 7等版本。其中R99/R4能够提供384kbps上行最高传输速度和下行2Mbps最高速度,在随即R5(HSDPA)和R6(HSUPA)分别强化了R99/R4版本下行和上行最大速度,分别达成5.76kbps和7.2bps,R5和R6合称为WCDMAHSPA版本。在R7版本中下行最大速度又被提升到 21Mbps/28Mbps/42Mbps,甚至56Mbps/84Mbps。后续还有R8HSOPA和FDD-LTE等后续演进技术,能够看出WCDMA在不停地快速发展。 现在,中国运行关键有三种制式3G标准,关键有联通WCDMA、移动TD-SCDMA和电信CDMA。和另外两种3G标准相比,WCDMA含有网络建设最为广泛、技术成熟度高、漫游地域最广、终端设备支持最多和拥有用户最多优势,所以本文选择WCDMA制式作为视频监控系统中无线传输所用制式标准。 2.2模块架构设计 2.2.1视频监控系统构架 本课题—基于嵌入式Linux视频采集编码发送模块设计和实现,根源于科技型中小型企业技术创新项目《基于TD-SCDMA远程无线视频监控系统》。 在项目中,为了方便系统设计、分工和开发实现,系统中采取模块化思想指导设计无线实时视频监控系统。系统从功效角度上可划分为三个模块:监控前端(PU)、中心服务平台、监控用户端(CU)。 PU端可划分为三个部分:视频服务器外设设备(摄像头、云台、各类传感器等)、DVS(数字视频服务器)和无线接入设备。PU端是系统信息采集和处理端,实现告警信息、内容分析数据采集处理,和音视信息采集、编码、发送和当地存放,含有视频数据和控制信令双向传送功效。 中心服务平台从功效上分为流媒体服务器和信令管理服务器,它是系统中心管理服务器。其中媒体服务器关键功效是采取流式协议将DVS发过来视频信息转发给监控用户端,信令服务器实现信令流控制,关键负责用户端控制信令收发和解析; CU端是系统用户应用端,关键完成音视频信息和警告信息对监控用户展现,依据用户权限不一样,高权限用户还能够经过CU实现对系统设备管理、用户管理等。监控系统功效框架图如2.2所表示: 图2.2视频监控系统功效框图 本课题完成功效是无线视频监控系统中PU端DVS(数字视频服务器)功效实现关键部分,关键实现多路实时视频采集、视频编码、视频发送。 2.2.2 模块需求分析 1、功效需求 本模块基于无线实时视频监控系统,该模块完成内容是视频监控系统中DVS(数字视频服务器)功效关键一部分。在本模块中,视频传输信道为联通经营WCDMA3G制式,信道实际带宽窄、误码率高。本课题关键内容就是,针对无线实时视频监控系统中实时视频庞大数据量大、对实时性高要求和现在无线网络传输负载能力之间矛盾,设计实现了一个应用在无线传输环境下、基于DaVinci技术远程视频监控系统多路实时视频采集、编码、发送方案。需要实现功效包含: (1)在视频采集方面:实现视频采集,且能够支持对视频多个属性控制,如视频分辨率、制式、亮度色度等。 (2)在视频编码方面:实现高速编码、高压缩比编码算法,使得系统能够应用于带宽较小无线网络。 (3)在视频发送方面:实现视频无线实时传输。 2、性能指标 多种功效具体性能指标以下: (1)视频采集模块:基于TVP5158芯片,采取V4L2采集驱动接口完成视频采集。 (2)视频编码模块:DSP上实现X.264算法编码,经过Codec Engine机制远程调用编码器,实现视频数据实时编码; (3)视频发送模块:采取基于UDP协议RTP实时传输协议封装视频数据,并利用MF210无线模块实现视频WCDMA无线传输。 2.2.3 模块硬件平台选择 在项目开发过程中,硬件开发平台选择很大程度上决定了项目开发难度难易和开发周期长短。基于2.1.1节叙述DaVinci技术优点,本模块中应用DVS(数字视频服务器)采取合众达企业专为数字视频处理推出基于DaVinci技术SEED-DVS6467嵌入式开发平台,它是以TI企业TMS320DM6467(简称DM6467)作为关键处理器,在其外围集成了2片译码器TVP5158。其硬件框图图2.3所表示。 图2.3 SEED-DVS6467系统硬件功效框图 本课题中ARM端控制采集译码器TVP5158完成视频采集,远程调用DSP端H.264编码器完成实时视频编码,最终利用RTP协议封装视频数据,并经过MF210无线模块实现视频数据WCDMA传输。在编码过程中,ARM和DSP之间交互是经过Codec Engine机制完成,这么DSP处理器端程序员只需关注怎样开发DSP算法,ARM处理器端程序员只需负责编写控制程序,双方不需要关心算法和控制程序间怎样实现通信。这么算法程序员和控制程序员能够独立完成各自分工工作,很大程度上降低用户开发难度和开发周期。 2.2.4 模块总体架构设计 为了提升系统实时性,整个系统软件关键设计为四个POSIX线程,分别是根本程(Main.c),采集线程(CaputreThrd.c),视频线程(VideoThrd.c),和发送线程(SendThrd.c)[13]。 多线程能够提升程序运行效率和系统对应速度,但同时也引发了多个线程对共享数据并发访问问题,假如不处理好线程间同时,则可能造成共享数据不一致性。在本设计中,采取条件变量和共享全局变量方法作为线程间同时和资源共享机制。系统各线程间交互示意图图2.4所表示。 具体交互过程为:系统开启后,根本程首先创建并初始化采集线程、视频线程和发送线程,然后将控制权交给SIP信令控制线程(MediaSipThrd.c),SIP信令控制线程负责循环监听用户端指令。采集线程从采集设备中获取原始数据,并将数据写入线程共享buffer中,然后触发视频线程,视频线程收到原始数据buffer后,先将多路行交叉模式输出复合视频数据解复用,并对解复用后单路视频标识通道ID,然后把空buffer返回给采集线程,再根据通道ID分别进行编码处理,将编码后数据buffer送给发送线程,发送线程受SIP信令控制线程条件阻塞,当用户端有请求时,就触发发送线程进行数据流发送。 图2.4 系统线程交互示意图 2.3 本章小结 本章研究了和课题相关关键技术和协议,分析了视频监控系统总体架构和课题模块在系统中实现功效,最终- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 嵌入式 Linux 视频 采集 编码 发送 模块 设计 及其 实现
咨信网温馨提示:
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【w****g】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【w****g】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【w****g】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【w****g】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。
关于本文