机器视觉系统原理及基础知识.ppt

机器机器视觉系系统原原理及基理及基础知知识主主主主讲讲人：人：人：人：王王王王亚鹏亚鹏2005.102005.10中国大恒（集中国大恒（集中国大恒（集中国大恒（集团团）有限公司北京）有限公司北京）有限公司北京）有限公司北京图图像像像像视觉视觉技技技技术术分公司分公司分公司分公司1.1.机器机器视觉系系统基本原理基本原理2.2.照明光源照明光源3.3.镜头4.4.工工业摄像机像机5.5.图像采集像采集/处理卡理卡6.6.图像像处理系理系统 第第1章章 机器视觉系统基本原理机器视觉系统基本原理1.1 机器机器视觉系系统的原理的原理1.2 机器机器视觉系系统与人的与人的视觉的的对比比1.3 机器机器视觉系系统的构成的构成1.1 机器机器视觉系系统的原理的原理l 机器视觉系统的目的就是给机器或自动生产线添加一套视觉系统，其原理是由计算机或图像处理器以及相关设备来模拟人的视觉行为，完成得到人的视觉系统所得到的信息。人的视觉系统是由眼球、神经系统及大脑的视觉中枢构成，计算机视觉系统则是由图像采集系统、图像处理系统及信息综合分析处理系统构成。1.1 机器机器视觉系系统的原理的原理l图像处理技术l彩色图像转换技术l图像分割技术l模式识别技术l数学形态学方法l专家系统及人工智能技术l视觉神经网络技术l小波分析技术l分形学方法1.2 机器视觉系统与人的视觉的对比机器视觉系统与人的视觉的对比人类视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目标适应性差，容易受复杂背景及环境变化的影响智能具有高级智能，可运用逻辑分析及推理能力识别变化的目标，并能总结规律虽然可利用人工智能及神经网络技术，但智能很差，不能很好地识别变化的目标彩色识别能力对色彩的分辨能力强，但容易受人的心理影响，不能量化受硬件条件的制约，目前一般的图像采集系统对色彩的分辨能力较差，但具有可量化的优点灰度分辨力差，一般只能分辨64个灰度级强，目前一般使用256灰度级，采集系统可具有10bit、12bit、16bit等灰度级空间分辨力分辨率较差，不能观看微小的目标目前有4K4K的面阵摄像机和8K的线阵摄像机，通过备置各种光学镜头，可以观测小到微米大到天体的目标速度0.1秒的视觉暂留使人眼无法看清较快速运动的目标快门时间可达到10微妙左右，高速像机帧率可达到1000以上，处理器的速度越来越快感光范围400nm-750nm范围的可见光从紫外到红外的较宽光谱范围，另外有X光等特殊摄像机环境要求对环境温度、湿度的适应性差，另外有许多场合对人有损害对环境适应性强，另外可加防护装置观测精度精度低，无法量化精度高，可到微米级，易量化其它主观性，受心理影响，易疲劳客观性，可连续工作1.3 机器视觉系统的构成机器视觉系统的构成1.1.照明光源照明光源2.2.镜头3.3.工工业摄像机像机4.4.图像采集像采集/处理卡理卡5.5.图像像处理系理系统6.6.其它外部其它外部设备第第2章章照明光源照明光源2.照明光源照明光源 在我国国家标准GB 569885中，颜色定义为：“色是光作用于人眼引起除形象以外的视觉特性”。既：颜色是一种光学现象，是光刺激人眼的结果，有光才有色。彩色也是一种心理感觉，它与照明光源的辐射能力分布及观看者的视觉生理结构有关。人眼可以感知的光谱范围为380nm-780nm，但人感知一个物体的颜色一般是指在日光照明的环境下所显示的色彩，对于同一物体在不同光线的照射下人会感觉到不同的色彩，可见光源对于正确认知物体的色彩是至关重要的。2.照明光源照明光源 简单视功能原理：人眼视网膜里存在着大量光敏细胞，按其形状可分为杆状和锥状两种。杆状光敏细胞的灵敏度极高，主要靠它在低照度时辨别明暗，但它对彩色是不敏感的；而锥状细胞既可辨别明暗，也可辨别彩色。白天的视觉过程主要靠锥状细胞来完成，夜晚视觉则由杆状细胞起作用。所以在较暗处无法辨别彩色。2.照明光源照明光源三原色学说：该学说认为在视网膜上分布有三种不同的视锥细胞，分别含有对红(700nm)、绿(546.1nm)、蓝(435.8nm)三种光敏感的视色素；当某一定波长的光线作用于视网膜时，以一定的比例使三种视锥细胞分别产生不同程度的兴奋，这样的信息传至中枢，就产生某一种颜色的感觉。2.照明光源照明光源所以，当我们用某光源照明时，若光源只发出三条人眼最敏感的谱线，即：蓝、绿、红。这样似乎是达到了人眼对照明的需求和防止了人眼无法察觉和有害射线对人眼视力的影响。但我们由前面提到的，物体只能反射和透射与该物体颜色相同的光线，因此上面我们假设的光源的显色性一定是很差的。2.照明光源主要参数照明光源主要参数l光源的光谱分布：对于色彩检测的应用，应选择与日光接近的光源，光谱要宽，而且连续。光源照射在物体上，物体所产生的颜色效果要客观、真实，既光源的显色性好。其它场合可使用各种单色光和特殊光源。2.照明光源主要参数照明光源主要参数l色温，单位是开尔文（K）：当光源所发出的光的颜色与“黑体”在某一温度下辐射的颜色相同时，“黑体的温度就称为该光源的色温。“黑体”的温度越高，光谱中蓝色的成分则越多，而红色的成分则越少。例如：白炽灯的光色是暖白色，其色温为2700K左右，而日光色荧光灯的色温则是6400K左右。白炽灯的色温一般在2700K左右、日光灯的色温在2700-6400K左右、钠灯的色温在2000K左右2.照明光源主要参数照明光源主要参数l照度：单位被照面上接收到的光通量称为照度。如果每平方米被照面上接收到的光通量为1（lm），则照度为1(lx)。单位：勒克斯（lx或Lux）。1勒克斯（lx）相当于每平方米被照面上光通量为1流明（lm）时的照度。在高速运动条件下拍摄图像，曝光时间很短，只有高亮度的光源才能得到足够亮度的图像。l夏日阳光下 100000Lux l阴天室外 10000Luxl电视台演播室 1000Lux l距60W台灯60cm桌面 300Luxl室内日光灯 100Lux l黄昏室内 10Luxl20cm处烛光 10-15Lux l晴朗的月夜地面照度约0.2 lx2.照明光源主要参数照明光源主要参数l寿命。光源的半衰期要长，且在半衰期内，光谱稳定，亮度衰减小。l发热特性。光源的工作温度要低，避免高温损坏被检测物。l信噪比高，抗干扰能力强。l闪烁频率，交流、直流。l外形尺寸，便于安装。2.照明光源分类照明光源分类l按照射方式可分为四大类按照射方式可分为四大类:l背向照明l前向照明l结构光l频闪照明。各种照明方式：平面照明、环形光源、同轴光源、平行光源、点光源、低角度光源、线光源、光栅；2.照明光源分类照明光源分类热辐射光源白炽灯、卤钨灯气体放电光源荧光灯、钠灯、氢灯、氙灯、金属卤化物灯、空心阴极灯、汞灯、高压汞灯、超高压汞灯 固体放电光源发光二极管、空心阴极灯激光器气体激光器、固体激光器、半导体激光器、染料激光器2.照明光源光纤照明照明光源光纤照明光纤照明系统：光纤照明系统：可弯曲的光纤束专用镜头l点照明l线照明l环形照明第3章 镜头镜头3.镜头影响图像质量的因素镜头影响图像质量的因素 图像质量的参数影响图像质量的因素分辨力（Resolution），指能分清楚物体的能力，单位LP/mm（Line pairs/Milimeter）镜头 摄像机图像采集卡 显示器对比度（Contrast）镜头 照明光源 摄像机景深（Depth of Field），指镜头当物体在对焦清晰范围内，维持一定品质的能力镜头失真（Distortion），也叫畸变镜头投影误差镜头3.镜头镜头机器视觉系统的基本光学参数：机器视觉系统的基本光学参数：l视场角l工作距离l分辨率l景深3.镜头镜头的理想模型镜头镜头的理想模型 薄透镜模型，薄透镜是指透镜没有厚度，当然这种透镜是不存在的，而且我们一般用的镜头都是多组镜片组合在一起的。我们通常使用中会忽略厚度对透镜的影响，在去除透镜参数中的厚度后，可简化许多光学计算公式。3.镜头镜头的理想模型镜头镜头的理想模型 3.镜头镜头的理想模型镜头镜头的理想模型 两个重要公式：1/f=1/S1+1/S2 S1f*(H/h+1)3.镜头有关镜头的基本概念镜头有关镜头的基本概念 3.镜头有关镜头的基本概念镜头有关镜头的基本概念l焦距（F）：l视场角：l物距：l像距：l光圈：一般用口径系数f表示，指镜头口径与焦距之比，f/2.8即指1:2.8l景深（DOF）：在焦点前后各有一个容许弥散圆，这两个弥散圆之间的距离就叫景深，即：在被摄主体(对焦点)前后，其影像仍然有一段清晰范围的，就是景深景深。l分辨力：指能分清楚物体的能力，单位LP/mm（Line pairs/Milimeter）l快门，决定曝光时间l数值孔径，Numerical Aperture(NA)l基本放大倍数(光学放大倍数），Primary Magnification(PMAG)l调制传递函数（MTF），MTF好的镜头有利于低对比度景物的再现，拍出的图像层次丰富、细节明显、质感细腻。l畸变：也叫失真 3.镜头有关镜头的基本概念镜头有关镜头的基本概念3.镜头有关镜头的基本概念镜头有关镜头的基本概念3.镜头常见光学镜头的种类镜头常见光学镜头的种类 l按光学放大倍率及焦距划分按光学放大倍率及焦距划分l显微镜：体视显微镜、生物显微镜、金相显微镜、测量显微镜l常规镜头：l鱼眼镜头：6-16mml超广角：17-21mml广角：24-35mml标头：45-75mml长焦：150-300mml超长焦：300mm以上l特殊镜头：l微距镜头l远距镜头l远心镜头l红外镜头l紫外镜头3.镜头常见光学镜头的种类镜头常见光学镜头的种类按其它性能划分按其它性能划分l固定焦距镜头l变焦镜头l自动变焦l手动变焦l不同接口方式的镜头lC接口（后截距17.526mm）lCS接口（后截距12.5mm）lF接口（尼康口）lM42l其它：哈苏、徕卡、AK3.镜头各种镜头常用配件镜头各种镜头常用配件l近拍接圈l偏振镜l滤色片lUV镜l雷登镜l增温镜l各色滤镜l带通滤镜l增倍镜l分光镜l棱镜第4章工工业摄像机像机4.工业摄像机工业摄像机按不同芯片类型划分：lCCD摄像机，CCD称为电荷耦合器件，CCD实际上只是一个把从图像半导体中出来的电子有组织地储存起来的方法。lCMOS摄像机，CMOS称为“互补金属氧化物半导体”，CMOS实际上只是将晶体管放在硅块上的技术，没有更多的含义。CMOS可以将光敏元件、放大器、A/D转换器、存储器、数字信号处理器和计算机接口控制电路集成在一块硅片上，具有结构简单、处理功能多、速度快、耗电低、成本低等特点。4.工业摄像机工业摄像机但是不论CCD或者CMOS对于图像感应都没有用，真正感应的传感器称做“图像半导体”，CCD和CMOS传感器实际使用的都是同一种传感器“图像半导体”，图像半导体是一个P N结合半导体，能够转换光线的光子爆炸结合处成为成比例数量的电子。电子的数量被计算信号的电压，光线进入图像半导体得越多，电子产生的也越多，从传感器输出的电压也越高。4.工业摄像机工业摄像机lCMOS摄像机存在成像质量差、像敏单元尺寸小、填充率低等问题，1989年后出现了“有源像敏单元”结构，不仅有光敏元件和像敏单元的寻址开关，而且还有信号放大和处理等电路，提高了光电灵敏度、减小了噪声，扩大了动态范围，使得一些参数与CCD摄像机相近，而在功能、功耗、尺寸和价格方面要优于CCD，逐步得到广泛的应用。4.工业摄像机工业摄像机按输出图像信号格式划分l模拟摄像机lPAL（黑白为CCIR），中国，625行，50场 lNTSC（黑白为EIA），日本，525行，60场 lSECAMlS-VIDEOl分量传输l数字摄像机lIEEE1394lUSB2.0lDCOM3lRS-644 LVDSlChannel Link lCamera Linkl千兆网4.工业摄像机工业摄像机按像素排列方式划分l面阵摄像机l黑白摄像机l采用BAYER转化的单片相机l3CCD彩色摄像机（分光棱镜）l线阵摄像机l黑白摄像机l3Line彩色摄像机l3CCD彩色摄像机（分光棱镜）4.工业摄像机工业摄像机3CCD4.工业摄像机工业摄像机3Line CCD4.工业摄像机工业摄像机BAYER转换转换4.工业摄像机主要参数工业摄像机主要参数l分辨率l帧率/行频l成像灵敏度l靶面尺寸l快门速度l光谱响应特性l白平衡l外同步与外触发第第5章章 图像采集像采集/处理卡理卡 5.图像采集图像采集/处理卡处理卡 5.1图像采集卡的主要功能：lA/D转换l图像传输l图像采集控制l图像处理（FPGA、DSP）5.图像采集图像采集/处理卡处理卡l模拟量图像采集卡:l标准视频信号采集:PAL、NTSCl非标准视频信号采集l数字量图像采集卡lIEEE1394卡lRS-644 LVDSlChannel Link LVDSlCamera Link LVDSl千兆网图像传输卡/传输器第第6章章 图像像处理系理系统6.图像处理系统图像处理系统 图像处理系统或计算机的作用是执行图像处理及分析软件，调用根据检测功能所特殊设计的一系列图像处理及分析算法模块，对图像数据进行复杂的计算和处理，最终得到系统设计所需要的信息，然后通过与之相连接的外部设备以各种形式输出检测结果及响应。其外部输出设备可以包括显示器、网络、打印机、报警器及各种控制信号。6.图像处理系统图像处理系统l嵌入式图像处理系统：DSP、FPGA、CPUl基于PC的视觉系统：结构及功能复杂，可多路并行处理。l小型机器视觉系统：结构简单，稳定性好，开发周期长。可二次开发的视觉系统：PPT、DVT、VC、Halcon等机器视觉及图像处理常用算法：机器视觉及图像处理常用算法：l滤波（平滑、降噪）l增强l边缘锐化l纹理分析（去骨架、连通性）l图像分割，灰度、色彩、频谱特征、纹理特征、空间特征；l变换(空域和频域、几何变换、色度变换）l几何形态分析（Blob分析），形状、边缘、长度、面积、圆形度位置、方向、数量、连通性等l搜索匹配l文字识别OCR，印刷质量OCVl色彩分析（色度、色密度、光谱、自动白平衡）l3维测量