环境感知技术介绍基于无人驾驶汽车技术.pptx
《环境感知技术介绍基于无人驾驶汽车技术.pptx》由会员分享,可在线阅读,更多相关《环境感知技术介绍基于无人驾驶汽车技术.pptx(87页珍藏版)》请在咨信网上搜索。
1、智能车辆环境感知技术智能车辆环境感知技术 Environment PerceptionTechnology of Intelligent Vehicle 引言引言 IntroductionIntroductionl当前,从陆地到天空,从海洋到宇宙,人们正在开发各种各样的智能化载运工具为人类的文明发展服务。l实现地面车辆的智能化乃至无人驾驶是车辆工程领域追求的最高目标。l智能车辆研究在很多领域能够体现一个国家的科学技术水平和综合国力。l中国应该在智能车辆研究领域对世界有所发明、有所贡献。l车辆工程学科领域的全体师生员工应该努力成为我国智能车辆研究的主力军。第一章第一章 智能车辆概述智能车辆概述
2、IntroductionIntroduction一、智能车辆定义一、智能车辆定义-Definition-Definitionl基于自身和外部信息,能够确认当前位置、规划目标 路线、控制自身按规划路线行驶、安全准时到达目的 地的机动车辆。l自身具有驾驶员的部份、全部或尚不具备的驾驶行为 能力的机动车辆。二、智能车辆功能二、智能车辆功能-Function-Function1.能够确认自身的当前位置,根据行驶目标及途中情况,能够确认自身的当前位置,根据行驶目标及途中情况,规划、修改行车路线。规划、修改行车路线。2.能够可靠识别行车路线,并可通过自动转向控制使自能够可靠识别行车路线,并可通过自动转向控
3、制使自身按规定路线准确稳定行驶。身按规定路线准确稳定行驶。3.行驶过程中,能够可靠实现车速调节、车距保持、换行驶过程中,能够可靠实现车速调节、车距保持、换道、超车等各种必要基本操作。道、超车等各种必要基本操作。4.能够确保行驶安全,按时到达目的地能够确保行驶安全,按时到达目的地5.能够适应不同的行驶环境。能够适应不同的行驶环境。三、智能车辆研究意义三、智能车辆研究意义-Significans-Significans1.减少交通事故减少交通事故 智能车辆是解决因驾驶员人为因素引起的道路交通安全问题的根本途径。2.提高运输效率提高运输效率 智能车辆能缩短行车间距,增加道路容量,防止交通堵塞,提高平
4、均车速,改善燃油经济性,减少环境污染。3.完成特殊作业完成特殊作业 智能车辆能够在易燃、易爆、有毒、抢险、宇航等危险环境下替代驾驶员完成特殊作业。4.国防军事应用国防军事应用 智能车辆在侦查、演习、排雷、防化、作战、反恐等军事领域有着潜在的广泛应用前景。四、智能车辆构成四、智能车辆构成-Construction-Construction1.车辆自检监控系统车辆自检监控系统 该系统通过实时获取和处理车辆状况传感器的输入信息如电压、电流、温度、压力、油耗、转向、制动、加速、停车、排放等,诊断车辆驾驶是否处于危险状态或具有潜在的危险,并将诊断结果信息提供给驾驶员或车辆自动控制系统,以便为做出正确的车
5、辆控制决策提供依据。2.车辆行驶环境信息获取系统车辆行驶环境信息获取系统 该系统基于车辆自身传感信息获取系统、通用技术平台和通信信息系统,获取车辆外部周边物体状态、公路状态、天气、车流、电子地图、停车场等信息,并将这些信息提供给驾驶员或车辆自动控制系统。3.车道状态数据处理系统车道状态数据处理系统 该过程对所输入的各种车载及道路传感器的数据进行有效处理,为车辆控制过程提供车辆所在车道、车辆在车道上的位置、车辆与车道的距离偏差及方位偏差等信息。4.车辆辅助驾驶接口系统车辆辅助驾驶接口系统 该系统提供了驾驶员可以用于启动、监视和终止车辆自动控制操作的接口。该接口可接收驾驶员控制请求、车辆行驶环境、
6、车辆自检、车辆控制状态反馈等信息,对车辆控制方式作出选择,并将选择结果提供给车辆控制过程或需要此信息的其它过程。5.车辆控制系统车辆控制系统 该系统系统提供各种水平的车辆控制功能。它通过接收车辆控制方式选择、车辆自检、车辆自身及周边车辆行驶状态、车辆行驶环境等信息,为实现车道跟踪、车距保持、换道、巡航、定位停车等功能提供各种必要的基本操作。6.智能车辆系统构成示意图智能车辆系统构成示意图五、智能车辆关健技术五、智能车辆关健技术-Key technology-Key technologyl 环境感知技术(Environment Perception)l 路径规划技术(Path Plan)l 导航
7、控制技术(Navigation Control)l 避障防撞技术(Obstacle Detection&Avoidance)l 信息通讯技术(Information Communication)l 乘员安保技术(Passenger Safety)l 人机交互技术(Human-machine Communication)l 状态监测技术(Condition Monitoring)l 调度管理技术(Accommodating&Management)第二章第二章 智能车辆环境感知技术概述智能车辆环境感知技术概述Introduction to E.P.TechnologyIntroduction to
8、 E.P.Technology一、环境感知目的一、环境感知目的-Purpose-Purposel通过性:基于自身行驶性能和共识规则,能实时、可靠、准确识别并规划出可保证规范、安全、迅速到达目的地 的行驶路径;l安全性:在行驶过程中,能够实时、准确识别出行驶路 径周边对行驶安全可能存在安全隐患的物体,为自身采 取必要操作以避免发生交通安全事故;l经济性:为提高车辆高效、经济地行驶提供参考依据;l平顺性:为车辆平顺行驶提供参考依据;二、环境感知对象二、环境感知对象-Target-Targetl行驶路径:对于结构化道路而言,包括行车线、道路边缘、道路隔离物、恶劣路况的识别。对于非结构化道路而言,包括
9、车辆欲行驶前方路面环境状况的识别和可行驶路径的确认;l周边物体:包括车辆、行人、地面上可能影响车辆通过性、安全性的其它各种移动或静止物体的识别;各种交通标志的识别;l驾驶状态:包括驾驶员驾驶精神状态、车辆自身行驶状态的识别;l驾驶环境:包括路面状况、道路交通拥堵情况、天气状况的识别。三、环境感知方法三、环境感知方法-Method-Method1.视觉传感视觉传感:基于机器视觉获取车辆周边环境两维或三维 图像信息,通过图像分析识别技术对行驶环境进行感知。车载单目视觉运动物体检测车载单目视觉运动物体检测l优点:优点:信息量丰富、实时性好、体积小、能耗低。l缺点:缺点:易受光照环境影响、三维信息测量
10、精度较低。车载双目立体视觉越野环境感知车载双目立体视觉越野环境感知2.激光传感:激光传感:基于激光雷达获取车辆周边环境两维或三维 距离信息,通过距离分析识别技术对行驶环境进行感知。车载线扫描激光雷达检测前方障碍物车载线扫描激光雷达检测前方障碍物车载三维激光雷达环境感知车载三维激光雷达环境感知l优点:优点:能够直接获取物体三维距离信息、测量精度高、对光照环境变化不敏感。l缺点:缺点:无法感知无距离差异的平面内目标信息、体积 较 大、价格昂贵、不便于车载集成。3.微波传感:微波传感:基于微波雷达获取车辆周边环境两维或三维 距离信息,通过距离分析识别技术对行驶环境进行感知。l优点:优点:能够以较高精
11、度直接获取物体三维距离信息、对 光照环境变化不敏感、实时性好、体积较小。l缺点:缺点:无法感知无距离差异的平面内目标信息、国外成 熟产品对我国禁运而难以获得。4.通讯传感:通讯传感:基于无线、网络等近、远程通讯技术获取车 辆行驶周边环境信息。l优点:优点:能够获取其它传感手段难以实现的宏观行驶环境 信息、可实现车辆间信息共享、对环境干扰不敏 感。l缺点:缺点:可用于车辆自主导航控制的信息不够直接、实时 性不高、无法感知周边车辆外其它物体信息。5.融合传感融合传感:运用多种不同传感手段获取车辆周边环境多 种不同形式信息,通过多信息融合对行驶环境进行感知。l优点:优点:能够获取丰富的周边环境信息、
12、具有优良的环境 适应能力、为安全快速自主导航提供可靠保障。l缺点:缺点:感知系统过于复杂、难于集成、造价昂贵、实用 性差。第三章第三章 视觉系统概述视觉系统概述 IntroductionIntroductionto Vision Systemto Vision System一、系统构成一、系统构成-System configuration-System configuration 一套完整的视觉系统通常包括CCD、镜头、图像卡、计算机等,系统构成如下图所示。景物景物镜头镜头CCD计算机计算机图像卡图像卡计算机视觉系统构成计算机视觉系统构成构成计算机视觉系统的主要部件构成计算机视觉系统的主要部件
13、二、成像原理二、成像原理-Imaging principle-Imaging principlel镜头经过聚焦将目标景物根据小孔成像原理投射到CCD电荷耦合靶面器件上;x0EAGFHDCOyB智能车辆视觉成像原理示意图智能车辆视觉成像原理示意图lCCD电荷耦合靶面由多个阵列式光电耦合元件构成,其能根据光照强弱产生不同强度的电流,然后电流被转换为当量电压;l图像采集卡能够逐行逐列地将每个光电耦合元件产生的电压模拟信号经过A/D 转换将其转换成数字信号并传输给计算机;CCD光电耦合元件及图像采集卡光电耦合元件及图像采集卡l计算机通过应用软件生成目标景物的数字图像,正是由于景物图像的数字化,才使得计
14、算机能够进行各种图像处理、分析和识别。目标景物的数字图像目标景物的数字图像三、主要参数三、主要参数-Key specification-Key specification l像素点:像素点:每个光电耦合元件产生的电压信号经过A/D 转换将其转换成数字信号形成一个像素,由于光电耦合元件按行列依次排列,其信号的数字转换也按相同顺序依次进行,转换结果数据被计算机按两维数组(x,y)形式加以存储,数组下标值 x 代表该像素所在行位置,y 代表该像素所在列位置,因此一对数组(x,y)对应一个像素点;l灰度值灰度值:景物明暗程度经光电耦合元件产生电压模拟信号并经过A/D 转换生成当量数字信号,通常CCD采
15、用的是 8 bit A/D转换,因此各像素点明暗程度分为0-225 共 256个等级,0 代表该像素点最暗,255 代表该像素点最 亮,因此像素点(x,y)的具体数值大小也称为该像素点 的灰度值或灰度级;像素点及灰度值概念示意图像素点及灰度值概念示意图l分辨率:分辨率:显然,CCD电荷耦合靶面光电耦合元件构成的行列多少直接影响对景物成像的精细程度,通常将光电耦合元件构成的行列多少称为其成像分辨率。对相应的数字图像而言,图像分辨率体现为在两维数组(x,y)的大小。例如,1024(H)1024(V)CCD的分辨率显然要高于512(H)584(V)CCD的分辨率。高分辨率CCD虽然可以获取更为精细的
16、图像,但由于像素点的大量增加,也会严重降低图像处理的实时性。对于智能车辆环境感知而言,通常640(H)480(V)的分辨率已能满足要求。l帧频:帧频:CCD 在1s时间内连续获取数字图像的帧数,其直接表示出 CCD 获取图像的速度,是影响视觉环境感知动态响应能力的主要因素。高速 CCD 能够有效提高图像处理实时性,但其价格较高。对于能车辆环境感知应用而言,通常30-100帧/秒速度的CCD性价比较高。l物理光圈:物理光圈:光圈机构设置在镜头上,通过手动或电动控制其开闭程度,进而控制外界光照投射到CCD电荷耦合镜面的强度大小,显然光圈设定的大小直接影响景物成像的明暗程度。镜头上设置的机械式光圈可
17、称之为物理光圈。通常物理光圈参数在1-16 之间,该值越小,代表光圈开度越大,通常称之为大光圈,反之亦然。因此当景物光照很强时,应选择数值大的小光圈;当景物光照很暗时,应选择数值小的大光圈。光圈选择应有利于增强目标与背景的灰度对比度。光圈适中光圈适中光圈过大光圈过大光圈过小光圈过小l电子光圈:电子光圈:在CCD内部,通过电路可以控制外界光照投射到CCD电荷耦合镜面的时间长短,进而达到光照强度大小的控制目的,通常也称其为电子快门。电子光圈参数需经过程序设定调节。电子光圈对于变光照条件下实现在线实时视觉环境感知具有重要应用价值。需要提及的是,电子光圈的大小影响CCD图像获取速度。物理光圈相同、外界
18、光照不同时电子光圈调节效果物理光圈相同、外界光照不同时电子光圈调节效果l焦距:焦距:焦距是指镜头景物聚焦点到成像平面即透镜中心 的距离,通常用 f 表示,单位为mm,如8mm、12mm、16mm、25mm等。焦距长短与景物成像大小成正比,对 同一物体,焦距越长,其成像越大,焦距越短,成像越小。镜头焦距与视场角成反比,焦距越长,视场角越 小,焦距越短,视场角越大。镜头通常标有焦距值,此 外,许多CCD 用镜头也具有通过手动微调焦距的功能。不同焦距功能示意图不同焦距功能示意图l视场角:视场角:视场角决定CCD成像视野范围,其大小与镜头焦距和CCD成像靶面尺寸大小有关,如前图所示。通常成像靶面为长宽
19、比为4:3的矩形,所以可用该矩形对角 线长度为底边、镜头焦距为高组成一等腰三角形,计算其顶角就是视场角,如前图所示。如果分别用矩形的两个边计算该角,则有水平视场角和垂直视场角之分。镜头焦距和视场角是一一对应的,而且是相互矛盾的。焦距小,则视场角大,视野范围大,但距离远的物体成像不清晰;反之,焦距大,则视场角小,视野范围小,但距离远的物体成像清晰。因此,应根据环境感知目标具体情况进行折中估算选择合适焦距和视场角的镜头。l俯仰角:俯仰角:智能车辆视觉系统性能除与前面所述各内部参数相关外,还与其在车辆上安装的俯仰角度、离地高度及相对车体位置等外部参数有关。俯仰角不仅使目标图像产生透视畸变,且影响视觉
20、视野。俯仰角越大、图像透视畸变越严重,视野越小;反之亦然,如下图所示。视野梯形区路面 镜头俯仰角EABFGIDCO CCD 车辆 前进方向俯仰角产生透视畸变示意图俯仰角产生透视畸变示意图 实际车道线状态实际车道线状态象平面中车道线状态象平面中车道线状态 透视畸变使物体成像产生形变,有时需要通过比较繁琐的重建方法才能恢复目标真实形态,往往会降低识别目标的实时性,如下图所示。l安装高度:安装高度:智能车辆为保证行驶安全,需要对前方路面环境预前识别,这意味着视觉的视野中心与车辆应具有一定距离,通常将其称为预瞄距离。智能车辆视觉系统的预瞄距离与行驶速度。车速越高,所需的预瞄距离越远,车速与预瞄距离之间
21、的关系:Dpreview=V(m/s)(1.2 1.4)(s)当车速100 km/h时,约需40-80米。显然、视觉系统安装俯仰角和安装高度影响预瞄距离。在俯仰角相同时,安装高度越高,视野范围越大,预瞄距离越远。另外,安装高度越高,图像因车体振动引起的失真越严重,常常给图像识别带来困难。l有效视野:有效视野:对一特定CCD,其分辨率是固定不变的。但如其安装俯仰角、高度不同,其成像视野会不同,则所获取图像对同一景物分辨的精细程度也不同,该种描述真实景物精确程度的分辨能力可称为其实际分辨率。具体而言,实际分辨率是指实际景物空间中的每单位长度对应图像中的像素点个数。视野范围越大,实际分辨率越低。有时
22、,实际分辨率并不是越高越好,实际分辨率越高,对噪声的敏感性也越强。因此,实际分辨率的选择要根据实际情况经试验加以确定。以下图为例,左图实际分辨率远高于右图,但对于道路边界识别而言,右图像有利于识别道路边界,左图像却易导致误识别。究其原因,道路边界是宏观、大视野内道路特征。当视野较小时,道路自然边界特征反而不明显,易受其它非边界信息干扰而产生误检。“高高”分辨率道路图像分辨率道路图像“低低”分辨率道路图像分辨率道路图像l颜色:颜色:CCD图像有黑白和彩色之分。黑白CCD图像各像素点仅反映成像景物的明暗即灰度特征,而彩色CCD图像各像素点则能反映成像景物的红、绿、蓝三色强度信息。对智能车辆环境感知
23、而言,在某些特定环境下,利用彩色图像有利于目标物体的感知识别,如下图所示。利用唇色特征识别说话状态利用唇色特征识别说话状态利用植物颜色特征识别路径利用植物颜色特征识别路径第四章第四章 视觉图像预处理技术简介视觉图像预处理技术简介Image Pre-processing Technology Image Pre-processing Technology 一、图像获取一、图像获取-Image grab -Image grab 对于智能车辆视觉环境感知而言,图像获取应通过合理选择和确定前章所述各种视觉系统内外部参数,以便为目标图像的有效可靠感知辨识提供有利条件。由于有些参数在一些性能上的相互制约性
24、,针对不同环境景物,相关参数的确定并没有统一的的标准,通常需要经过试验或依赖已有经验,但应遵循以下几点共性原则:l所获取图像中的被辨识目标应尽可能清晰、直观;l尽可能提高被辨识目标与整幅图像像素点的比例;l图像应尽可能增强被辨识目标与背景的灰度反差;l图像获取速度应能满足车辆控制的动态响应能力;马路边界反差不强马路边界反差不强石块边界反差不强石块边界反差不强比较理想比较理想汽车像素过少汽车像素过少眼部像素过少眼部像素过少比较理想比较理想车辆尾部结构模糊车辆尾部结构模糊直线产生弯曲失真直线产生弯曲失真比较理想比较理想二、图像预处理二、图像预处理-Image pre-process-Image p
25、re-process 为了实现对视觉图像中的目标进行有效、准确识别,通常需要对图像进行预处理。图像预处理包括图像去噪、边缘增强、灰度拉伸、图像分割、形态学处理等。预处理技术应用是否正确,在很大程度上影响图像识别效果。1.图像去噪(图像去噪(Noisereduction)图像在生成和传输过程中,受输入转换器件及周围环境影响,常含有各种各样的噪声。为尽可能减少噪声干扰,常需要对图像先进行去噪处理。图像噪声滤除可在空间域对图像像素灰度值直接进行平滑运算处理,算法比较简单,实时性好,常用的方法有图像平均法、邻域平均法、自适应平滑滤波、高斯滤波和中值滤波等。中值滤波属于一种非线性处理技术,滤波器选取一个
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 环境 感知 技术 介绍 基于 无人驾驶 汽车技术
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【w****g】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【w****g】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。