机器视觉系统原理及基础知识PPT课件.ppt

机器视觉系统基本原理1.机器视觉系统的原理 2.机器视觉系统与人的视觉的对比3.机器视觉系统的构成1机器视觉系统原理及基础知识1.机器视觉系统基本原理2.照明光源3.镜头4.摄像机5.摄像机计算机接口6.图像处理系统21.机器视觉系统的原理 机器视觉系统的目的就是给机器或自动生产线添加一套视觉系统，其原理是由计算机或图像处理器以及相关设备来模拟人的视觉行为，完成得到人的视觉系统所得到的信息。人的视觉系统是由眼球、神经系统及大脑的视觉中枢构成，计算机视觉系统则是由图像采集系统、图像处理系统及信息综合分析处理系统构成。3 机器人视觉的目标与任务1、定义：研究用机器人来模拟人和生物的视觉系统功能。2、目标：使机器人具有感知周围视觉世界的能力。让机器人具有对周围世界的空间物体进行传感、抽象、判断的能力，从而达到识别、理解的目的。3、任务：图象的获取、预处理、图象分割与表示与描述、识别与分类、三维信息理解、景物描述、图象解释。红色部分就构成了图像分析的研究内容。4人类视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目标适应性差，容易受复杂背景及环境变化的影响智能具有高级智能，可运用逻辑分析及推理能力识别变化的目标，并能总结规律虽然可利用人工智能及神经网络技术，但智能很差，不能很好地识别变化的目标彩色识别能力对色彩的分辨能力强，但容易受人的心理影响，不能量化受硬件条件的制约，目前一般的图像采集系统对色彩的分辨能力较差，但具有可量化的优点灰度分辨力差，一般只能分辨64个灰度级强，目前一般使用256灰度级，采集系统可具有10bit、12bit、16bit等灰度级空间分辨力分辨率较差，不能观看微小的目标目前有4K4K的面阵摄像机和8K的线阵摄像机，通过备置各种光学镜头，可以观测小到微米大到天体的目标速度0.1秒的视觉暂留使人眼无法看清较快速运动的目标快门时间可达到10微妙左右，高速像机帧率可达到1000以上，处理器的速度越来越快感光范围400nm-750nm范围的可见光从紫外到红外的较宽光谱范围，另外有X光等特殊摄像机环境要求对环境温度、湿度的适应性差，另外有许多场合对人有损害对环境适应性强，另外可加防护装置观测精度精度低，无法量化精度高，可到微米级，易量化其它主观性，受心理影响，易疲劳客观性，可连续工作5机器视觉系统结构6照明光源 简单视功能原理：人眼视网膜里存在着大量光敏细胞，按其形状可分为杆状和锥状两种。杆状光敏细胞的灵敏度极高，主要靠它在低照度时辨别明暗，但它对彩色是不敏感的；而锥状细胞既可辨别明暗，也可辨别彩色。白天的视觉过程主要靠锥状细胞来完成，夜晚视觉则由杆状细胞起作用。所以在较暗处无法辨别彩色。7光源（光源是基准，打光是艺术）种类：LED、萤光灯、卤素灯（光纤光源)、特殊光源特点：LED寿命长/可以有各种颜色/便于做成各种复杂形状光/均匀稳定/可以闪光；萤光灯光场均匀/价格便宜/亮度较LED高；卤素灯亮度特别高/通过光纤传输后可做成8好的打光方式等于成功了一大半光源调制目标信息后传递探测器给（将目标想成我们自己）探测器所获得的光线必须包含足够的信息以便分离感兴趣的主要特征信息，并便于处理器将它们区分开来(光源是基准，打光有技巧）我们的目标就是最大化感兴趣区域的特征同时抑制其他的特征（噪声）9照明规则 1、光线太暗会影响视觉系统2、光线太亮会影响视觉系统3、照明的主要功能是产生光学信号4、减少噪声是照明要解决的主要问题之一5、只有来自于目标并到达镜头的光线才是有效的光线6、进入镜头但非来自目标的光线为杂散光，它降低图像质量7、来自目标任意点的光线都应填满镜头的入瞳10镜头影响图像质量的因素 图像质量的参数影响图像质量的因素分辨力（Resolution），指能分清楚物体的能力，单位LP/mm（Line pairs/Milimeter）镜头 摄像机图像采集卡 显示器对比度（Contrast）镜头 照明光源 摄像机景深（Depth of Field），指镜头当物体在对焦清晰范围内，维持一定品质的能力镜头失真（Distortion），也叫畸变镜头投影误差镜头11镜头常见光学镜头的种类 按光学放大倍率及焦距划分显微镜：体视显微镜、生物显微镜、金相显微镜、测量显微镜常规镜头：鱼眼镜头：6-16mm超广角：17-21mm广角：24-35mm标头：45-75mm长焦：150-300mm超长焦：300mm以上特殊镜头：微距镜头远距镜头远心镜头红外镜头紫外镜头12按其它性能划分固定焦距镜头变焦镜头自动变焦手动变焦不同接口方式的镜头C接口（后截距17.526mm）CS接口（后截距12.5mm）F接口（尼康口）M42其它：哈苏、徕卡、AK13 远心镜头在测量系统中，物距常发生变化，从而使像高发生变化，所以测得的物体尺寸也发生变化，即产生了测量误差；即使物距是固定的，也会因为CCD敏感表面不易精确调整在像平面上，同样也会产生测量误差。采用远心物镜中的像方远心物镜可以消除物距变化带来的测量误差，而物方远心物镜则可以消除CCD位置不准带来的测量误差。14远心镜头的优点：没有视差畸变是尺寸测量的理想镜头可以在工作距离变化的条件下精密测量下面的观点也是不对的：远心镜头景深长只有远心镜头才能完成精密测量15远心光路成像是机器视觉中一个很重要的原理。但是它有一个很大的缺点，那就是远心镜头的口径至少要与需要观察的物体尺寸相等或更大。这也是为什么远心镜头非常贵的原因之一。16镜头畸变174/21/202418摄像机摄像机的作用是将通过镜头聚焦于像平面的光线生成图像。摄像机中最重要的组成部件是数字传感器。19摄像机计算机接口 摄像机捕获图像后输出为模拟或数字视频信号。20图像处理系统 图像处理系统或计算机的作用是执行图像处理及分析软件，调用根据检测功能所特殊设计的一系列图像处理及分析算法模块，对图像数据进行复杂的计算和处理，最终得到系统设计所需要的信息，然后通过与之相连接的外部设备以各种形式输出检测结果及响应。其外部输出设备可以包括显示器、网络、打印机、报警器及各种控制信号。21计算机视觉的任务与工作流程预处理表示与描述图象获取识别分类关系描述理解解 释图像分析22机器视觉及图像处理常用算法：滤波（平滑、降噪）增强边缘锐化纹理分析（去骨架、连通性）图像分割，灰度、色彩、频谱特征、纹理特征、空间特征；变换(空域和频域、几何变换、色度变换）几何形态分析（Blob分析），形状、边缘、长度、面积、圆形度位置、方向、数量、连通性等搜索匹配文字识别OCR，印刷质量OCV色彩分析（色度、色密度、光谱、自动白平衡）3维测量23一、视觉处理过程及方法 预处理、分割、特征抽取、识别 a)a)分辨率变化对图像的影响分辨率变化对图像的影响共256级灰度，从图（a）到（f）分辨率依次为512512，256256，128128，6464，3232，1616。24 从图（a）到（f）分辨率依次为512512，灰度级依次为256，64，16，8，4，2。b)灰度变化对图像的影响25从图（a）到（f）依次为：256256，128级灰度；181 181，64级灰度；128 128，32级灰度；90 90，16级灰度；64 64，8级灰度；45 45，4级灰度。c)分辨率和灰度同时变化对图像的影响26 按照图像识别从易到难，可分为三类问题。第一类识别问题:图像中的像素表达了某一物体的某种特定信息。如遥感图像中的某一像素代表地面某一位置地物的一定光谱波段的反射特性，通过它即可判别出该地物的种类。27 第二类问题:待识别物是有形的整体，二维图像信息已经足够识别该物体，如文字识别、某些具有稳定可视表面的三维体识别等。但这类问题不像第一类问题容易表示成特征矢量，在识别过程中，应先将待识别物体正确地从图像的背景中分割出来，再设法将建立起来的图像中物体的属性图与假定模型库的属性图之间匹配。第三类问题:是由输入的二维图、要素图、25维图等，得出被测物体的三维表示。这里存着如何将隐含的三维信息提取出来的问题，当是今研究的热点。28二、图像分析的关键技术 1、低层处理的图象分割算法不稳定，很难把物体在图象中相应位置截然分割开来；2、从平面图象出发发现立体信息（病态问题）；3、大规模并行图象处理；三、图像分析的相关学科 属于计算机学科，但它的基础知识来自神经生理学、认知心理学、物理学、数学等经典学科，它又与计算机学科中的图象处理、模式识别、人工智能等学科有着不可分离的关系。图像分析是一门多学科的交叉。29四、图像分析的发展历程1、图像分析的兴起(1964年1970年)以改善图像质量为目标的计算机图像处理得到蓬勃发展。2、图像分析的发展(1970年1980年）围绕着纹理分析、图像编码、图像分割和滤波等问题的实验研究，也取得重大突破。3、图像分析的困惑(1980年至现在)即着眼于对图像的识别和理解。对图像的分析与处理，也由静止转向运动，由二维转向三维。图像分析处理所面临的根本性困难有：所处理的信息量大得惊人；图像都是非常模糊和歧义的；由于人脑的视觉功能同样是有许多关键的规律有待于揭示；人与机器的组织结构、工作机理不同。303132多个摄像头图象融合33344/21/202435