常见情形下同类铜币的视觉相似度分析_程冠桦.pdf

基金项目:国家自然科学基金(62067007);川大自贡校地合作项目(2018CDZG-19);华西医院 135 交叉学科创新项目(ZYJC21041)四川大学“医学+信息”中心融合创新项目(YGJC012)收稿日期:2021-06-02 修回日期:2021-07-25 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0170-06常见情形下同类铜币的视觉相似度分析程冠桦1,3,张俊然1,3,黄江涛2(1.四川大学电气工程学院,四川 成都 610065;2.南宁师范大学计算机与信息工程学院,广西 南宁 530001;3.四川大学“医学+信息”中心,四川 成都 610065)摘要:为了解决文物分类、鉴别过程中由于个人主观性导致无法定量化评判同类铜币这一问题,提出一种基于 128 维 SURF特征的计算机视觉相似度分析方法。对目前同类铜币常见的三种情形进行相似度分析,采用多尺度结构提取铜币的稳定特征,并构建包含特征点邻域信息的特征描述符,依靠相似计算策略得到相似度得分,最终实现对同类铜币的识别。实验结果表明,上述计算机视觉相似度计算算法在旋转、尺度变化和亮度变化条件下均表现优异,能够很好地对不同情形下的同类铜币进行识别。关键词:铜币;多尺度特征;特征描述;相似度计算中图分类号:TP391.9 文献标识码:BVisual Similarity Analysis of Similar Copper Coinsin Common SituationsCHENG Guan-hua1,3,ZHANG Jun-ran1,3,HUANG Jiang-tao2(1.College of Electrical Engineering,Sichuan University,Chengdu Sichuan 610065,China;2.School of Computer and Information Engineering,Nanning Normal University,Nanning Guangxi 530001,China;3.Med-X Center for Informatics,Sichuan University,Chengdu Sichuan 610065,China)ABSTRACT:In order to solve the problem of the inability to quantitatively evaluate similar copper coins due to per-sonal subjectivity in the process of classification and identification of cultural relics,this paper proposes a computervision similarity analysis method based on 128-dimensional SURF features.Three common conditions of similar cop-per coins were analyzed.Firstly,a multi-scale structure was built to extract the stable characteristics of copper coins.Secondly,feature descriptors that contain feature point domain information were constructed.Then,the calculationstrategy was established to obtain similarity scores.Finally,the identification of similar copper coins was realizedbased on the scores.The experimental results show that this computer vision similarity calculation algorithm performswell in the conditions of rotation,scale and brightness change,and can well identify similar copper coins in differentsituations.KEYWORDS:Copper coins;Multi-scale features;Feature description;Similarity calculation1 引言文物和艺术品的识别、分类与鉴定等需要相关专业人员进行初步整理,但由于人工观察具有一定的个人主观性,对于一些复杂情况往往无法定量且有效地作出判断1。计算机视觉技术发展日趋成熟,已广泛应用于人脸、车牌识别等领域。对于文物的识别、分类与鉴定来说,相比人工的主观经验判断,利用计算机视觉方法对文物及艺术品实现定量分析,可避免由于主观标准不一而导致的认知偏差。如文献2通过比较待测印鉴与标准印鉴的多种统计参数对印鉴进行真伪鉴别。文献3通过提取检验笔迹与参考笔迹的局部071纹理特征实现字迹鉴定。文献4采用 GIST 特征描述子表达书体特征,并结合 SSC 相似性敏感编码算法,根据海明距离实现书法字体的定量识别。文献5利用马尔可夫随机场对国画的真伪进行定量分析。文献6,7利用文物轮廓以及灰度共生矩阵纹理特征等指标,定量地对文物图像进行辨识与鉴定。文献8,9分别利用小波神经网络、形状和纹理信息对瓷器文物定量地进行等级定级、真伪识别以及年代识别。就铜币而言,在对其进行整理分类的初筛过程中,发现由于受保存环境差异或制作批次不同等因素的影响,同类铜币所呈现出的表面状态不尽相同10 保存在温湿度和酸碱度适中环境里的铜币表面特征清晰,而其余长期暴露在空气或其它潮湿环境中的铜币,受氧化发黑或是表面生成铜锈,破坏了纹理图案的清晰度;此外,不同批次制造出的铜币也存在细微差异。由于同类铜币存在着不同的复杂情形,人工判断容易受到干扰,因此在整理分类时需要定量的标准以确保同类铜币能够被正确识别。针对以上复杂情形导致人工观察无法定量评判同类铜币这一问题,本文提出基于 SURF(Speeded Up Robust Fea-tures)特征11对待测铜币与标准铜币进行相似计算,从而定量地识别出同类铜币。具体通过构建多尺度空间结构保证特征具有尺度不变性,定位关键点主方向保证特征具有旋转不变性,结合关键点邻域区域信息保证特征描述子的一般性和信息完整性,对两特征描述符按照轮流主次的计算策略保证结果的唯一性,最终在特征点空间上计算相似性,通过相似得分识别出同类铜币。实验表明,通过对各铜币提取的128 维 SURF 特征进行相似度计算,能够很好地识别出不同情形的同类铜币。2 特征提取为了使获得的铜币特征具有尺度不变性、旋转不变性、一般性和代表性,其提取步骤包括构建多尺度空间、确定关键点以及特征描述。2.1 Hessian 矩阵通过 Hessian 矩阵寻求铜币中稳定的突变点,而在构建之前需要先对图像进行滤波以消除噪声干扰。Lindeberg 等人12证明高斯卷积核是实现尺度变换的唯一线性核,因此选用高斯滤波器保证特征具有尺度不变性。式(1)和式(2)分别为滤波运算与高斯核表达式L(x,y,)=I(x,y)G(x,y,)(1)G(x,y,)=122e-(x2+y2)/22(2)其中 I(x,y)为像素矩阵,L(x,y,)即为高斯滤波生成的图像,在此基础上构建 Hessian 矩阵H(x,y,)=Lxx(x,y,)Lxy(x,y,)Lxy(x,y,)Lyy(x,y,)|(3)从式(3)可见 Hessian 矩阵由滤波图像在 x 和 y 方向的二阶偏导数构成,用以描述铜币的局部曲率信息。式(4)为Hessian 矩阵判别式,通过判别式符号初步确定该点是否为铜币的局部关键点det(H)=Lxx Lyy-Lxy Lxy(4)由于获取关键点需先进行高斯滤波,再对滤波图像二次求导,过程较为繁琐;为了提高效率,采用图 1 的盒式滤波器11近似代替高斯滤波器,将滤波计算转换为了像素和的加减运算过程,从而用式(5)近似式(4)寻求关键点,det(H)=Dxx Dyy-(Dxy)2(5)式中 Dxx,Dyy和 Dxy分别为原图像经三个方向盒式滤波后的响应值,为加权系数,用以平衡近似计算产生的误差。图 1 三个方向的盒式滤波器示意图2.2 多尺度特征提取为了保证铜币特征不受尺度变化影响,对此构建多尺度空间寻求在不同尺度下均稳定的特征点 通过调整盒式滤波器大小生成不同尺度的图像,从而构建多尺度金字塔。尺度空间由若干组图像组成,其中同组图像为同一输入经过尺寸依次增大的盒式滤波生成的一系列响应图。完成多尺度空间的构建后,计算多尺度结构中的极值点进行关键点筛选。图 2 为关键点邻域示意图 包括同尺度图像内的 8 个邻域点和相邻尺度对应位置的 18 个点。在筛选过程中,将每个检测点与其邻域内的 26 个点进行大小比较,确保关键点在整个尺度空间内均为极值点,从而保证所提取特征的稳定性和高鲁棒性。图 2 关键点邻域示意图如图 3 所示,以上步骤得到的为尺度空间中的离散极值点,为了获取特征点的准确位置,需要进行曲线拟合。利用 Taylor 展开式拟合函数,171图 3 曲线拟合极值点D(X)=D+DTXX+12XT2DX2X(6)对式(6)求导,并令其等于 0,有:X=-2D-1X2DX(7)再将式(7)代回式(6),得到式(8):D(X)=D+12DTXX(8)由于部分极值点响应较弱,应进行剔除,使获取的特征点更具稳定性。在本文中,若 D(X)0.03,则舍去对应的极值点 X,反之保留为特征点。2.3 特征描述为了保证铜币特征不受旋转角度的影响,需要先确定特征点的方向。如图 4 所示,以特征点 X 为中心,6s(s 为尺度空间值)为半径计算圆形范围内的 Haar 小波响应;再设置以X 为顶点,张角为 60的扇形滑动窗口,以 0.2 弧度的步长旋转,依次统计窗口内 Haar 小波响应值的累加和,将最大累加值所对应方向确定为特征点 X 的主方向,同时将达到最大累加值 80%以上的方向作为辅方向以增强鲁棒性。图 4 确定特征点主方向确定特征点方向后以主方向为基准进行特征描述 以特征点为中心,取边长为 20s 的正方形邻域,将其与主方向对齐后划分成 44 个子区域,分别统计各子区域内水平方向和竖直方向的 Haar 响应值。为了进一步增强特征点的独特性,使铜币特征具有更好的区分性,将小波特征继续进行细分:根据 dy0 和 dy0 将 dx与|dx|分别分为两部分进行加和计算,同理根据 dx0 和 dx0 将 dy与|dy|均分为两部分进行计算,如式(9)所示,每个子区域共包括 8 个分量。V=(dx+,dy+,|dx+|,|dy+|,dx-,dy-,|dx-|,|dy-|)(9)因此,任一特征点都将表示为一个 448 维的特征描述子 F=(f1,f2,f128)。为了进一步去除光照等因素影响,按照式(10)对特征描述向量进行归一化处理,得到最终的 128维特征描述符?F=(?f1,?f2,?f128)。?F=F128i=1f2i=(?f1,?f2,?f128)(10)3 相似性计算在对铜币进行特征提取后,将提取出的特征描述子作为铜币的浓缩表示,进而对两铜币进行相似度计算。对于两铜币 copper1 和 copper2,其特征描述符分别为 C1=(c1,ci,cN)和 C2=(c1,cj,cM),其中 N,M1 分别为两铜币的特征数,ci和 cj(i1,N,j1,M)均为 128 维特征向量。考虑相似结果应具有唯一性,不会由于两铜币比较的主次顺序不同而发生改变,故应满足式(11)SIM(C1,C2)=SIM(C2,C1)(11)其中 SIM()表示两特征描述符之间的相似度计算。本文选用余弦相似度13作为相似度量方式,且由于特征向量均已做归一化处理,实际计算过程只需进行内积运算。计算时分别将两铜币作为主比较位置以保证相似度的唯一性,具体过程如下:先将 copper1 中的特征点作为主比较对象,逐一寻求 copper1 每个特征在 copper2 中的 K 最近邻点,计算特征描述符在相应近邻点中的最大相似值,待 copper1 中所有特征点均完成相似度计算后,取相似平均值作为 copper1 与copper2 的相似值;同理,再将 copper2 作为主比较对象,计算每一特征描述符与 copper1 的最大相似值,当 copper2 所有特征点均计算完毕后,取平均值作为 copper2 与 copper1 的相似值。最后将得到的两相似值按照特征数大小计算加权平均值,结果即为两铜币的最终相似度得分。公式如下Sim1=SIM(C1,C2)=max(sim(ci,cKj)N(12)Sim2=SIM(C2,C1)=max(sim(cj,cKi)M(13)Sim=N Sim1+M Sim2N+M(14)其中 N,M 分别为铜币 copper1 和 copper2 的特征数,ci和 cKj与 cj和 cKi分别表示特征点和另一铜币中相应 K 近邻特征点的描述向量,sim()代表向量的内积运算;Sim1 表示铜币copper1 作为主比较位时计算出的相似度,Sim2 表示铜币copper2 作为主比较位时计算出的相似度,将两相似度的加271权平均值 Sim 作为两铜币的最终相似度得分。4 实验分析实验中选用的铜币如图 5 所示,三组铜币分别对应同类铜币常见的三种情形,包括一组咸丰元宝、一组前苏联时期三分币和一组中华民国二分硬币:咸丰元宝组在视觉上几乎相同,除去极小部分杂质差异外,其形状、颜色、表面的文字以及其余绝大部分均表现一致,视觉上较易判断出该组铜币属于同一类别;前苏联硬币组的制造批次不同,表面图案存在小部分的细节差异,视觉上需进行仔细分辨才可做出判断;而在民国二分币组中由于铜币的保存环境等因素影响,各自表面存在较多杂质,差异较大,视觉上容易误认为该组铜币各自属于不同的类别。图 5 三种情形铜币通过本文方法对三种情形的同类铜币进行相似度计算,实验中同时将 128 维 SURF 特征与 SIFT14、Dense-SIFT15特征以及常规 64 维 SURF 描述子11进行效果比较,分析各特征对铜币的描述能力。如表 1 所示,可以看出各特征下三种情形的相似度均高于 0.9,表明各方法均能够从状况复杂的铜币表面提取出强鲁棒性特征,并能对其进行稳定描述;此外,三种情形铜币的相似度结果依次减小,与视觉判断结果一致,表明了方法的真实有效性。相较而言,基于 128 维SURF 特征的方法在各情形下的相似性计算得分均最高,表明其特征具有更强的描述能力,能够很好地识别出不同情形的同类铜币。表 1 不同特征下三种情形的相似度结果特征情形一情形二情形三SIFT0.94929090.93895160.9241516DenseSIFT0.95091670.94019230.9254312SURF0.95224130.94283240.9317385SURF-1280.95613670.94744260.9338548 为了进一步验证方法的有效性,将三种情形分别进行不同程度的旋转、亮度变化以及尺寸变化以模拟相似比较时的不同场景,分析各特征的表现效果。考虑铜币变换为相对关系,实验中选取铜币 copper2 进行依次变换。图 6 为各个变换示意图 (a)为亮度变换示意图,从左往右依次将亮度调整为原图像的 0.5 倍,1.5 倍,2 倍;(b)为角度变换示意图,依次将铜币按顺时针旋转 45,135,270;(c)为尺寸变换示意图,依次缩放为原图的 0.5 倍,0.8 倍,1.5 倍。图 6 三种变换示意图图 7 为三种情形铜币在不同变换下四种特征描述子的相似度结果,其中横轴依次为不同程度的亮度、角度和尺寸变换,可以看出:在亮度变换下,四种特征均保持稳定水平,表明几种特征方法对亮度变化都具有较强的鲁棒性;而在旋转变换和尺寸变换下,DenseSIFT 总体相似度呈现较低水平,表现最差,而其它三种特征描述子依旧保持稳定,表明具有较强的尺度不变性和旋转不变性,其中 128 维 SURF 描述子表现最为突出,在三种情形下均保持最高识别水平,再次证明其特征具有强大的描述能力。371图 7 各特征在不同变换下的相似度表现从表 1 和图 7 均可看出 SURF-128 效果更好,分析其原因:由于铜币表面纹理图案基本呈现为横纵向分布,相比于SIFT 及 DenseSIFT 描述子依据梯度直方图生成,SURF-128描述子由水平及竖直方向 Haar 响应值组成,更能充分描述铜币特征的方向性变化;相比于常规 64 维 SURF 特征,SURF-128 将小波响应值进一步细分,其描述子信息丰富度更高,故以此为特征能够更好地识别出同类铜币。本文还探究了包括基于感知哈希算法 pHash16,图像灰度直方图17以及灰度共生矩阵 GLCM 纹理特征7的三种图像相似比较方法,并与本文方法进行分析比较。从表 2 可以看到,本文基于 128 维 SURF 特征的方法表现更为优异,能够更清晰地识别出同种铜币。表 2 四种相似比较方法的相似度结果方法情形一情形二情形三pHash0.83496090.78027340.7382813直方图0.89622930.79295340.7769347GLCM0.91138840.85217360.8596281本文方法0.95613670.94744260.9338548 为了更好地比较方法的识别能力,实验还依次计算三组铜币两两之间的相似度,组成同类铜币组和不同铜币组,以验证方法对同类铜币的识别能力以及对不同铜币的区分能力。图 8 几种图像相似度计算方法结果比较如图 8 所示,各子图分别为使用感知哈希 pHash、颜色直方图、GLCM 纹理特征以及本文基于 128 维 SURF 描述子的相似度比较方法计算各铜币对的相似度结果热力图,其中横轴和纵轴上的 c11 和 c12 为图 5 中情形一的 copper1 和 cop-per2,其余编号依此类推;热力图沿主对角线对称,各个方块即为相应铜币之间的相似度得分,颜色越深表示两铜币相似度越高。可以看出,图(a)(b)中颜色较为混乱,甚至出现同组铜币的相似度低于不同铜币相似度的情况,表明方法鲁棒性较差。图(c)中 c21、c22 与 c31、c32 之间颜色过于接近,分析原因发现其表面纹理分布情况较为类似,导致灰度共生矩阵统计情况相似,从而产生相似度较高的假阳性情况。而对于图(d),热力图对角线位置存在三组明显较深颜色的 22方块,如 c11 和 c12,c21 和 c22,c31 和 c32 分别对应三种情形的同类铜币,其相似度得分均高于 0.9,表明方法能够灵敏准确地识别出同组铜币;而图中其它方格颜色均较浅,其相似度得分为 0.65 以下,与同类铜币组的相似度得分相比差471异明显,表明方法能够较好地区分出不同铜币。通过以上分析,可证明本文方法能够很好地识别同类铜币以及区分不同类型铜币。5 结论针对同类铜币表面复杂而人工观察无法进行定量化评判这一问题,本文提出通过计算机视觉图像相似度比较方法实现定量地识别同类铜币。方法对铜币提取出的 128 维SURF 特征具有较强的独特性和可区分性,对旋转、光照和尺度变化均具有高度鲁棒性。实验表明本文基于 128 维 SURF特征的相似度计算方法能够很好地识别与区分不同状况的铜币:对于同类铜币,其相似度得分均高于 0.9;而不同铜币之间的相似度为 0.65 以下,远低于同类铜币。本文就利用计算机视觉识别铜币提供一种思路,未来将尝试结合深度学习算法进一步提升识别准确率。参考文献:1 岳峰.文物鉴定与文物鉴定学略论J.中国国家博物馆馆刊,2011,(11):148-156.2 张黔,胡庆,杨静宇,蒋韧.统计和结构模式识别方法结合的多特征印鉴真伪鉴别方法J.,计算机学报,1995,(3):190-198.3 刘成林,戴汝为,刘迎建.简化的 Wigner 分布及其在笔迹鉴别中的应用J.计算机学报,1997,(11):1018-1023.4 毛天骄.书法字书体风格识别技术D.浙江大学,2014:13-24.5关晓惠.计算机辅助的国画:分类、鉴别与系统D.浙江大学,2005:21-36.6 刘慧薇.文物图像辨识及检索软件的开发研究D.西安理工大学,2006:21-33.7 姚弘奕.文物图象鉴别系统的算法研究D.西安理工大学,2001:30-46.8 张儒,陈昌虎.基于小波神经网络的瓷器识别系统J.中国陶瓷,2008,(6):31-33.9 Tianhong Mu,Fen Wang,Xiufeng Wang,Hongjie Luo.Researchon ancient ceramic identification by artificial intelligenceJ.Ce-ramics International,2019,45(14):18140-18146.10 刘园园.唐代墓葬出土钱币研究D.安徽大学,2019.11 Bay H,Ess A,Tuytelaars T,et al.Speeded-up robust features(SURF)J.Computer vision and image understanding,2008,110(3):346-359.12 Lindeberg T.Scale-space theory:a basic tool for analyzing struc-tures at different scalesJ.Journal of applied statistics,1994,21(1-2):225-270.13 张宇,刘雨东,计钊.向量相似度测度方法J.声学技术,2009,28(4):532-536.14 张丹丹.基于视觉 SLAM 的移动机器人闭环检测算法研究D.燕山大学,2016:17-23.15 杨佳宾,姜永涛,杨幸彬,郭广猛.基于 Dense SIFT 特征的无人机影像快速拼接方法J.地球信息科学学报,2019,21(4):588-599.16 黄嘉恒,李晓伟,陈本辉,杨邓奇.基于哈希的图像相似度算法比较研究J.大理大学学报,2017,2(12):32-37.17 王朝卿,沈小林,李磊.图像相似度计算算法分析J.现代电子技术,2019,42(9):31-34,38.作者简介程冠桦(1998-),男(汉族),重庆人,硕士研究生,主要研究领域为计算机视觉、模式识别。张俊然(1978-),男(汉族),湖南常德人,博士,教授,CCF 会员,主要研究领域为类脑人工智能模式识别、医学影像与大数据分析。黄江涛(1979-),男(汉族),广西玉林人,博士,副研究员,主要研究领域为机器学习、图像处理。(上接第 148 页)12 陶志文,张智勇,石艳,等.碳税规制下多目标冷链物流配送路径优化J.武汉理工大学学报(信息与管理工程版),2019,41(1):51-56.13 王成林,郑颖,皇甫宜龙,等.生鲜类物流配送网络选址-路径优化问题研究J.数学的实践与认识,2020,50(10):33-43.14 张肖琳,梁力军,张梦婉.绿色物流配送路径优化研究 以京东配送为例J.价格月刊,2020,(8):64-69.15 陈婵丽,钟映竑.基于改进 K-means 聚类方法的新零售物流配送路径优化J.物流技术,2019,38(5):73-78,126.作者简介张 岚(1971-),女(汉族),湖北武汉人,硕士,副教授,研究方向:信息管理与信息系统。赵 芳(1978-),女(汉族),湖北当阳人,硕士,副教授,研究方向:电子商务与物流管理。571