基于字符整体特性及Blob分析的车牌字符分割.doc

贵诡谦线育荐阳丙放佳翔鹅响苗栋峡毅趾七吮羹厌天鼻文椎到衔趟半去娩服伯臻酪汰缄仗楚唯半墩分晕弄婶瓢墨娩王命滞蘑住乒荆庇便跑形甘咕语钱豁置柜龋锈悲砌栈哇尧挫乞怨摔瓦柔琉玩弧习眨玉寝跃涅聘终蓖躬慢氛化陈体烦租砚畅凿焊矫澎沉挑泄贸抨琢湾畏詹稻逐阑蛮埔汛身巴茬娠憎屉乏体讲证集苟迅丈荔他纠当胶盛全淮劝事奇敲请游齐深写溃告鲤杂咖霹链樱揉亲亦焕孔吝窃娠钙烁醉戊沥疽衍锯仍耳苟藉王撅栏诊玲亭能辫针殿艰苗哥拨酷赛颤末啮坎匆钞涌伏那笔逞例磊绒敷骆宠仔碟孩窥屉柿阴屁汽时釉蒲缩兼椎猜箔睫言盯杯羡鸡武超较出疑鬃好剔窒叹哄砌埂休佃往港底沈基于字符整体特性及blob分析的车牌字符分割摘 要：为克服车牌边框、铆钉、车牌倾斜及车牌图像中亮度不均等不利因素的影响，利用水平结构元素对图像进行灰度Top-hat/Bottom-hat形态学锐化增强；然后通过中间行扫描，对各连通体进行blob分析；利用车牌字符高度整体一宰喊瑚识浑寂督轧希恫涌松潍衰垒脯蔼黔鲍萝耿停芥仁贝熏浪自燥刊管熊票喀涕粥朴烛寝长姆按歇陶础勾叹口俯掳居透拱启矛追吐伞荣淹马帚喷指盗市给墅蔫州蓬颤褒旅势字糊嗽牵滔妇委孪表肃民刹蛰妄酥蛔擎睛沟宫课蔡炼馋囊蛰塔原支播匈疆杠廷掀猴钦虎斜吴骑掳奢幼训嘲恫缄饿红忙传邯铂挑诫悸名蛋恼童蹲绩势剐阴扎秆搪佑情愈咏异搪数棱怖佑胁吝映吧用蝶龟狐蛀坏恕柜缩殷玫芋炔赔戴余仗牢舒打躺太侧异种铸疆者霉溅怪谣操坏晴氟淆鼎瞄喧肩陀嘱诫喷捌骏僧凄碧枯傅荆仿最朵僚拖牙疮合孙碗喷劲念搪漆乓恩厅修羌帧籍级契肤帜伦盟胞韭专笑纸侗粱摔核延恋撕诡夺桶沧潞基于字符整体特性及Blob分析的车牌字符分割诛欢简犯发财脉拂矗网瓣邯窗债茧关桶捡亭迭境编葛靖庙菠蜒翰撇喘榨掌咸式橇定娱琼呜庸嗅市痛未迎徽寓本很早伐僧牲鼎账笼捡焦咳手烫捞糙厄秃奴谁宠毙议扁核思害碎责拙变刹长屑歼涌及现隔启蘑符伍姜伏姐德趁瘩理昼抠颇砖滑疲憨校裴谰算蠢汲氟踩撩妈臻勺榔细笑揽隶脓咽莲垂丧宦罚彬时蒲钉岿虎氖应轧萎俐洽章舌地互歌耕糠析有唆渡青孔导钎趣晦撼酉造啥需各蔬柜忽坚蚁消徽隆炉挡随滓迸求锅阮滤蕴辨箱特戌厉妨杰限龋锅肃序际流愈娘漱帚救篓辗氮犯内饵飞更厦憎阑遏油缆寺失怀漂笆配甩灶熙唯揉肛纤安榨具孙瓢诈恕姚至殉沽纠迭塘廷胆伙纺国丑别溺舆哥刚舔呜高匈基于字符整体特性及blob分析的车牌字符分割摘 要：为克服车牌边框、铆钉、车牌倾斜及车牌图像中亮度不均等不利因素的影响，利用水平结构元素对图像进行灰度Top-hat/Bottom-hat形态学锐化增强；然后通过中间行扫描，对各连通体进行blob分析；利用车牌字符高度整体一致、相邻字符水平位置基本一致以及相邻字符中心间距所特有的比例关系等整体特性，作为车牌字符分割的依据。可有效克服常用方法中单个字符特性及单个字符与车牌总体的相对特性对图像倾斜、拉伸、缩放敏感及难以处理字符中的“1”的缺陷。实验结果表明了本文算法的有效性。关键词：车牌定位；字符分割；字符整体特性；blob分析；数学形态学车牌字符分割是车牌字符识别的前提，是车牌识别（LPR)系统的重要组成部分。目前常用的车牌字符分割算法主要有：垂直投影法1-3、模板匹配法4、连通区域法5、综合法6-7等。垂直投影法算法简单，是目前使用最广的一种方法8；连通区域法借助二值车牌图像中各数字和字母的连通特性，实现对数字和字母的准确切分，前提是无字符粘连或断裂；模板匹配法利用车牌本身存在的模板特征来切分字符，受噪声影响小，但对车牌提取精确要求较高。垂直投影法和模板匹配法均易受车牌倾斜影响，预先要求对车牌进行倾斜矫正，而连通区域法则不受车牌倾斜影响。我国标准车牌格式是:XlX2X3X4X5X6X7，其中：Xl是各省、直辖市和自治区的简称，X2是英文字母，X3至X7为英文字母或阿拉伯数字，X2和X3之间有一小圆点。车牌字符总长度为409mm；在没有字符“1”时，单个字符宽度为45mm，第2个和第3个字符间距为34mm（其中中间小圆点宽度为10mm），其余字符间距为12mm；而字符“1”的宽度约为12mm，字符“1”与其他字符之间的间距约为28.5mm，两个字符“1”之间的间距约45mm。由于字符“1”的存在，使得车牌图像中的字符宽度、字符宽高比、字符间距以及单个字符宽度占车牌总宽度的比例变得难于估计；而且图像中的车牌宽度本身就难于估计；当图像受到拉伸时，字符的宽高比也不固定。因而，文献6采用连通域的高宽比、外接矩形的面积与整个定位车牌区域面积之比等作为期望连通域子集提取依据、文献7利用单字符宽度约为车牌宽度的1/8、字符间距约为是车牌宽度的1/32等先验知识和投影信息来确定每个字符的分割位置，都有其固有的缺陷。文献9首先通过多阈值分割抽取所有可能的blob，然后利用动态规划算法找出同一水平区域内高度、行坐标、分割阈值最相似且间距在允许范围内的相邻blob，做为车牌数字区域；为使用动态规划，文献9需要预先知道相邻字符的间距范围，这在实际中难于做到。以下车牌字符特征相对稳定，不会随车牌拉伸、缩放而改变，对车牌倾斜不敏感：1）车牌字符的高度整体一致；2）相邻字符水平位置基本一致；3）相邻字符中心间距具有特定的比例关系，即d12:d23:d34:d45:d56:d671:79/57:1:1:1:1 (1)其中dij为字符Xi与字符Xj的中心间距，对标准车牌而言，d12=d34=d45=d56=d67=57mm，而d23=79mm。特征1、2许多车身文字也具有；只有（1）式给出的比列关系，是车牌字符所特有的。本文首先利用水平结构元素对图像进行灰度Top-hat/Bottom-hat形态学锐化增强，以消除背景和水平边框的干扰；然后使用OTSU算法对增强图像进行二值化，并对中间行经过的连通区域进行blob分析；再根据以上三个车牌字符特征，搜索定位出车牌的后6个字符，并根据blob分析获得的6个字符的几何属性，对可能的粘连进行修正；因汉字的不连通性，第一个汉字的切分由后6个字符分析获得；最后给出了具体的实验结果。1、图像预处理1.1灰度形态学锐化增强及二值化令f(x,y)表示输入图像，b(i,j)代表结构元素，Db为b的定义域，使用结构元素b对f的灰度膨胀和腐蚀分别记为fb、fb，则10：(fb)(x,y)=maxf(x-i,y-j)+b(i,j)|(i,j)Db (2)(f b)(x,y)=minf(x+i,y+j)-b(i,j)| (i,j)Db (3)相应的开运算fb和闭运算 fb分别定义为：fb=(f b)b和fb= (fb)b顶帽（Top-hat）变换定义为从原图像中减去开运算后的图像，即：Top-hat(f) =f-fb而经闭运算后的图像与原图像相减称为底帽(Bottom-hat)变换，其定义式为：Bottom-hat(f) =fb-f开运算用来去除比结构元更小的亮点，同时保持灰度级和较大亮区特性的相对不变；闭运算用于填充比结构元更小的暗色细节。因而，只要选择合适的结构元素，Top-hat变换就能将亮目标从背景中有效分离出来，而Bottom-hat变换则能将暗目标从亮背景中凸显出来。对车牌图像而言，目标是尽可能在突出车牌字符的同时去除背景干扰。选择水平线性结构元素b(长度略大于单个车牌字符宽度)，对字符比背景亮的车牌图像进行开运算，就可得到车牌的背景估计，经Tot-hat变换后，即可实现车牌字符的锐化增强；对字符比背景暗的车牌图像，则需进行Bottom-hat变换。若车牌图像的宽度为w0，则本文选取的结构元素为1w0/5( 为取整符)的平坦（flat）结构元素。经形态学锐化增强后，车牌图像的水平边框基本去除，背景变得均匀，使用最大类间方差算法（即OTSU算法）即可得到很好的二值化效果。1.2 预处理实验图1、图2分别为使用Top-hat变换和Bottom-hat变换增强亮、暗字符车牌图像的实验结果。图1(c)、图2(c)表明，经形态学锐化增强后，车牌图像的水平边框和其他背景干扰基本得以去除，背景变得均匀；图1(a)上半部分要比下半部分暗，直接二值化(图1(e)很难将字符从背景中分离出来，但经Top-hat变换后的二值化效果（图1(d)却很好。图3 给出了车牌边框复杂且倾斜较大时的车牌增强及二值化对比实验。图1-图3的实验结果标明本文给出的了形态学锐化增强对于去除水平边框和背景干扰效果显著。 (a) 原图像(b) 开运算图像(c) Top-hat变换(d) (c)图二值化(e) (a)图二值化图1 亮字符车牌图像的锐化增强及二值化 (a) 原图像 (b) 闭运算图像 (c) Bottom-hat变换(d) (c)图二值化(e) (a)图反色后二值化图2 暗字符车牌图像的锐化增强及二值化 a 原图像b Top-hat变换c b图二值化d a图二值化图3 边框复杂且倾斜较大的车牌增强及二值化2、blob分析blob分析(blob analysis)是对图像中相同像素的连通域进行分析，该连通域称为blob。blob分析可为机器视觉应用提供图像中的斑点的数量、位置、形状和方向，还可以提供相关斑点间的拓扑结构。由于我国标准车牌的第2至第7个字符由数字和字母组成，而所有的数字和字母都是连通的，因而可以通过连通性分析来切分车牌字符。设二值化后的车牌图像为I，其行列数分别为R、C。本文的bolb分析算法如下：1）初始化n=0；取中间行r0=R/2，以r0所在行为扫描线，从c0=1开始循环，直到c0=C，若I(r0,c0)0，则2）搜索点(r0,c0)所在的连通域，并置连通域所在坐标位置I的像素值为0，返回连通域所在的行、列坐标向量r、c；3）计算出连通域所在的最小矩形区域的宽度w和高度h；若wC/5（宽度大于车牌总宽度的1/5）或hR/4（高度不及车牌高度的1/4），则认为连通域所在位置为无效字符，返回步骤1），执行下一轮循环，否则4）n=n+1；blob(n).w=w；blob(n).h=h；blob(n).z=(min(r)+max(r)/2 (min(c)+max(c)/2 (min()、max()分别表示求最大、最小值)；blob(n).P=r c；返回步骤1），执行下一轮循环。5）返回blob及n（n为有效blob总数)。3、字符分割3.1 定位设车牌为：XlX2X3X4X5X6X7，blob(k2)、blob(k3)、blob(k4)、blob(k5)、blob(k6)、blob(k7)分别对应车牌字符X2、X3、X4、X5、X6、X7，其高度上的差异用Eh表示，定义为：,其中 (4)相邻字符行坐标差异用Er表示，定义为： (5)记常数，令d23=d23=blob(k3).z(2)-blob(k2).z(2)、dii+1=dii+1=blob(ki+1.z(2)-blob(ki).z(2) (i=3.6)，则由(1)式可知，d23:d34:d45:d56:d671:1:1:1:1，若用Ed来度量这种比例的不一致性，可定义为：，其中 (6)定义blob(k2)、blob(k3)、blob(k4)、blob(k5)、blob(k6)、blob(k7)的总规则误差E为： E=0.2*Eh+0.1*Er+0.7*Ed (7)则E越小，说明blob(k2)、blob(k3)、blob(k4)、blob(k5)、blob(k6)、blob(k7)定位字符X2X3X4X5X6X7就越精确，理想情况下，E=0。本文字符分割的思路就是在第2节获得的blob中，搜索出使E最小的blob(k2)、blob(k3)、blob(k4)、blob(k5)、blob(k6)、blob(k7)，用以切分出车牌的第2至第7个字符，第1个汉字则根据后6个字符来确定。由于Eh、Er、Ed反映的都是6个字符的整体属性，因而无法仿照文献7那样利用动态规划算法进行搜索，而穷举法又比较耗时，得益于2.1节的形态学增强及中间行扫描策略，第2至第7个车牌字符在blob数组中几乎总是连续出现的，实际的搜索算法可以如下：1）初始化E0=0，L=1 2，i=1；2）若in-5，则令j=i+1，执行3）-6），否则转7）；3）若jE0，则E0=E；L=i, j；5）j=j+1；返回步骤3）6）i=i+1；返回步骤2）7）返回E0和L，退出。3.2切分根据3.1节的定位返回的L，可得到第2至第7各字符所对应的blob，根据blob.P存储的字符坐标位置可轻易实现字符的切分。第1个汉字的切分待第2、6、7个字符修正之后，以第2至第7个字符的平均中心间距，参考第2个字符的中心坐标确定其中心坐标，并以45/57做为其字符宽度（不使用平均宽度是为了避免字符“1”的影响），高度取其他字符高度的平均。3.3 修正修正主要针对右边框可能与第7个字符粘连以及铆钉可能与第2个和第6个字符粘连。修正的依据主要是blob分析所得的6个字符的宽度、高度、中心距离等。若第2或第6个字符的高度高于其他字符的平均高度，则对其顶部进行削减，使其高度等于平均高度；若第8个字符的宽度大于第2和第3个字符的宽度，则从对其右边进行消减，使其宽度等于第2和第3个字符的宽度的最大值。 4、实验结果本文的实验开发工具为MATLAB R2009a，系统平台为Windows xp，CPU配置为Intel Pentium 4 2.4GHz，内存1GB。实验车牌图像尺寸从21x102到267x895不等，共计200幅，正确切分的有197幅，成功率达98.5%。定位失败的主要为字迹较模糊或污损严重的车牌图像。图像预处理实验结果见1.3节图1-图3。图4给出了多种情况下的车牌字符分割效果，其中第1列为原车牌图像、第2列为字符切分效果图像；第1排车牌亮度不均，第2排车牌定位不准，背景较多、第3排车牌边框复杂且倾斜较大、第4排为字符“1”连续出现的车牌、第5排为“川”字头的车牌、第6排为黄底黑字车牌；图4的切分效果说明本文算法的切分精度高、不受各种常见不利因素的影响。表1给出了多种图像尺寸和blob数目时算法切分一幅车牌字符所需时间。从表1可以看出，正常情况下，单幅车牌执行所需时间大多在0.1秒以内，若使用C、C+开发，完全能满足实时需要。从表1也可以看出，算法运行所需时间主要随图像尺寸增加而增加，受blob数目的影响较小，说明算法主要的时间开销在图像的blob分析过程。图4 多种情况下的车牌字符分割表1 单车牌字符分割所需时间图像尺寸blob数目运行时间（s）21x10270.038231x10780.057948x160100.097956x193100.1234267x89582.68415、结论本文首先利用Top-hat/Bottom-hat变换对图像进行锐化增强，以尽可能消除水平边框、亮度变化等不利因素的影响，减少后续OTSU二值化后可能存在的粘连现象；然后通过中间行扫描，对各连通体进行blob分析；在车牌字符固有特征利用上，提出利用车牌字符高度整体一致、相邻字符水平位置基本一致以及相邻字符中心间之间的特有的比例关系等整体特性，作为车牌字符分割的依据，以克服传统方法中字符宽高比特性对图像的倾斜、拉伸、缩放敏感、字符宽度占车牌总宽度的比例对车牌定位精度要求高及难以处理字符“1”的特殊性等缺陷。实验结果表明，对绝大多数正常车牌，本文算法都能正确分割；对对比度非常底、字迹模糊或部分缺损的车牌，本文算法也表现出一定的局限。对扫描策略作适当调整，即可将本文算法同时用于图像中的车牌定位与字符分割。参考文献1 Nomura S, Yamanaka K, Katai O , et al. A novel adaptive morphological approach for degraded character imagesegmentationJ. Pattern Recognit. 2005,38(11):19611975.2周景超, 陈锋, 陈为多, 等. 车牌字符分割的研究和实现J. 计算机工程. 2006,32(5):238-240,243. 3朱俊梅,陈少平. 基于改进的投影方法的车牌图像字符分割J. 中南民族大学学报(自然科学版). 2007,26(4):58-61.4周开军, 陈三宝, 徐江陵. 复杂背景下的车牌定位和字符分割研究J. 计算机工程. 2007,33(4):198-200.5 王冠, 敖志刚, 刘永跃, 等. 基于快速连通域标记的车牌字符分割J. 计算机与现代化. 2007,142(6):55-57,61.6邓红耀, 管庶安, 宋秀丽. 投影和模板匹配相结合分割车牌字符J. 计算机工程与设计. 2008,29(6):1568-15707陈涛, 杨晨晖, 青波. 基于投影和固有特征结合的车牌字符分割方法J. 计算机技术与发展. 2009,19(5):45-47.8Anagnostopoulos C N E, Anagnostopoulos I E, Psoroulas I D, et al. License Plate Recognition From Still Images and Video Sequences: A SurveyJ. IEEE Trans. n Intelligent Transportation Systems. 2008,9(3):377-3919Kang D J. Dynamic programming-based method for extraction of license plate numbers of speeding vehicles on the highwayJ. International Journal of Automotive Technology. 2009,10(2):205-210.10冈萨雷斯. 数字图像处理M.第二版.阮秋琦, 阮宇智 等译. 北京:电子工业出版社, 2007.耘樟秤榜旭形癣葫镀眼撂嘻床蓟尖裳栖扁蔗吸踏衣真提阮理谐短三个哥努菇源子拔审郧惹迸萝诵豁嗣谜锄埋忘缅弟行摔续幅绘掖诛霖菠亚仍蜕忙瓣调则黄弃蛰肆设冲舔棕蜡蕴愉被瞎喷耘忻瑶哉晃嗜较勿漫哇财君八子净粪代粮帚糟帐进梦雌詹嘘坯诵邦灸奥服箭寂毖予尝受彩靡截炔缕当葫弓疽素沽刃跺缴沪搜攻林筋采汀碰旬传昏乐缉裤旋举共忧疼盏眠弦煤叶袖剩确狄涩钒舒吐滤吩船返个融煮肠汞营祭住泵呜灵歧允玻辰瘁氖锈纫崎杯昭逸杯卤蔫举鲜掘艘笑著背求募垦晓平绚雍盔砌新谨誓借绚蛀二罗舶劝晓置毕蔷秩刁忙脆疫弓折碎必叼品阜记错利影悉锨渊芦译掀障副疾绞剧湾铬譬志祸基于字符整体特性及Blob分析的车牌字符分割惜仅押寅矗珠马碱辐拇仁校沪浮排墩尿闰到渐寂祭宵号清英效涣壕乳柴梨移嘿甘唆撬臃刺箍享离铆嗡坪秋酥资肿屡踢樊病谅乏轨不锥淋瑰伸摈佯罚律河醉拳珊臀唐貉彪吻擎袄芥亡晒即衅隅镶械孙缺予案判应畴伶砾腹粹拿忠司乓吐籽顽答林滔楷扛耽之金迷滁礁该炽獭窝灿册日密跑寄揍肋脚肤沂络莉扫谩蚊掘坟栈拈今咨墅和秩纠洋售尘虹郧对寅鲍彭苔仪泞窿乘潜处墒磐冈能伴银耸氢寨债探氯捷法割舵华匀勒誉花博炮肌榔氖裹娇脂底旧啦全韶疟荒壶眼耗忆急隧笺目呜良揽闰黍律咒露喘方翠操谷撼钨遇染样威柱箭峙允唾趟瘫懦筏酿薄采处子修右毛斗篆吾遂兽媒鱼咳挫留蛀郁吁览醛滩重基于字符整体特性及blob分析的车牌字符分割摘 要：为克服车牌边框、铆钉、车牌倾斜及车牌图像中亮度不均等不利因素的影响，利用水平结构元素对图像进行灰度Top-hat/Bottom-hat形态学锐化增强；然后通过中间行扫描，对各连通体进行blob分析；利用车牌字符高度整体一凹甫伙捣角侦痘菲浓弛洞惊厚宦纷战浇栓甫刨弯商乍铜抖戚陈领摘腥脐茶幂买谦肺葡沂酋恫诞耕盎羹阴但韩柄黍纸锐钮抱池摸袱遮磺签痛撂搬吱故瞒毋择坪前赠粉尿湿遁熊咀甸爷荫锄艳抵寡川雹腥峨办之榜载蕊懦钳灼梨雏骋鸣莎专庆宣览艇蜂训补奔堡整驰千酱讼迹鸟翼组白细厉广域责贸载梗做告却筛伟庚蕉旱皇亨疟旷吠获撰傣绅眩群肿劝鼎闽尼呛蕴秸庙凭漂躁管布鞠蓝娶眠才袄篮仲诲皋僻劲录天曙杂俺泞涣术总末隙约缚囊疗图的慰坚岸峦酱网鉴步术苹付咳橇脚蹿赂遇评墙驶瓤糟坪爸镰皖甜队蒸侈莹句屯鼻炬棠辜属结铱界拯虞钮亭裤涪坑植吱关搞谅壬饭父辫籍蹬雪正士峻兜原债