基于最佳缝合线和改进加权平均融合的图像拼接.pdf
《基于最佳缝合线和改进加权平均融合的图像拼接.pdf》由会员分享,可在线阅读,更多相关《基于最佳缝合线和改进加权平均融合的图像拼接.pdf(6页珍藏版)》请在咨信网上搜索。
1、技术广角 52基于最佳缝合线和改进加权平均融合的图像拼接摘要 为了解决图像拼接中出现的拼接缝和伪影问题,文章提出一种基于动态规划思想的寻求最佳拼接缝算法,采用改进的加权平均融合算法解决拼接缝问题。在图像配准方面,通过SIFT算法对图像进行特征匹配,并利用RANSAC算法去除误匹配点。在图像融合方面,给定一对对齐的图像重叠区域,利用动态规划思想来搜索最佳缝合线;然后结合改进的加权平均融合算法实现无缝拼接。实验结果表明,本文提出的算法有效消除伪影和拼接缝,实现两幅图像重叠区域之间的光滑过渡,符合人类的视觉感知效果。关键词 动态规划;SIFT算法;最佳接缝;改进的加权平均融合王金良1 闫 素21 江
2、西科技学院 南昌 3300982 潍坊工程职业学院 潍坊 262501引言图像拼接是把具有一定重叠区域的图像序列通过配准和融合等过程,合成一个无拼接缝的宽视角成像技术1。对于最先进的技术来说,不完美的图像序列拼接生成一幅高质量的缝合图像仍然是一个及其具有挑战性的问题。由于拍摄环境、相机运动、照明变化和光学色差等原因,当输入图像存在宽视角问题时很难实现完美的对齐,就会造成伪影和拼接缝问题。图像拼接已经广泛应用于无人机拍摄、虚拟现实和车载全景环视系统等领域2-3。一般来说,图像拼接主要包括图像预处理、图像配准和图像融合等步骤4。图像配准算法可以分为基于区域和基于特征的方法5。基于区域的方法是对像素
3、值做处理,从数学上来讲是计算待配准图像和参考图像在同一区域的亮度差。一般来说,这种方法计算量大,配准精低。基于特征的方法不直接利用像素值,而是提取图像中的特征,并利用提取的特征的匹配重叠区域,这种方法具有鲁棒性和精确性。常用的基于特征的配准算法主要包括SIFT(ScaleInvariantFeatureTransform)、SURF、Harris等,其中SIFT6算法可以提取大量的特征,它可以稳健地调节透视变换和照明变化,并且对平移、旋转和缩放具有不变性,对噪声也有很强的鲁棒性。根据上述优点,本文采用的是SIFT算法进行特征匹配。图像特征匹配之后,需要对两幅图像的重叠区域进行对齐,常用的方法是
4、使用全局扭曲对齐重叠区域的图像,可以分为相似性变换、仿射变化和单应性变换。当获取的图像中存在运动物体时,图像配准会导致一定的误差,此时重叠区域会出现伪影问题。为了消除重叠区域未对齐造成的伪影问题,本文采用动态规划思想来搜索重叠区域的最佳拼接缝,然后结合改进的加权平均融合算法实现无缝拼接。基 金 项 目:江 西 省 自 然 科 学 基 金 青 年 基 金 项 目 资 助(20192BAB211005);国家自然科学基金项目资助(61971234,61865012);江西省研究生创新专项资金项目(YC2021-S821)。技术广角 53图像融合技术作为图像拼接的一项关键技术,越来越受到人们的重视。
5、所谓的图像拼接是将从摄像机不同角度拍摄的图像拼接成一幅全景图像,或者两个或多个重叠区域的图像拼接成一个无缝的宽视角图像。然而,由于灰度差异等原因,合成图像的重叠区域容易出现拼间隙和亮度差等。图像融合的目的就是解决这个问题,实现合成图像的无缝拼接和重叠区域的平滑过渡。近年来,常用的图像融合技术可以分为像素级融合、特征级融合和决策级融合。1)像素级融合:直接对两幅图像的像素点进行融合信息综合的过程。像素级融合算法复杂性低,耗时短,但因为是基于像素计算,像素信息很容易受到噪声的干扰。2)特征级图像融合:对图像进行特征提取,将边缘、轮廓、局部特征等信息进行综合处理的过程。3)决策级图像融合:根据一定的
6、规则对提取特征和识别后的源图像决策综合,获得图像融合。目前常用的融合算法是像素级融合,可以分为加权平均法、多分辨率融合算法、泊松图像融合算法、最佳缝合线算法等。目前加权平均法7应用比较广泛,该方法可以有效消除拼接缝,但是该方法无法消除伪影问题。泊松图像融合算法能够有效消除拼接缝问题8,且可以使得重叠区域自然过渡,但是该算法复杂度高,算法耗时长。多分辨率图像融合算法同样能够有效消除拼接缝,但是无法处理非常严格的图像融合问题。最佳缝合线算法9对于配准误差较小的区域,可以很好地消除伪影问题。近年来,谷雨等人10对最佳缝合线的搜索进行改进,马东岭等人11提出了在最佳缝合线的基础上结合加权平均融合,张翔
7、等人12将局部信息权重引入最佳缝合线搜索规则中,然而却未能很好解决重叠区域拼接线附近存在部分错位的问题。对于上述问题,可以有两种方法解决:第一种是专注于解决重叠区域的对齐问题,使一幅图像与另一幅图像对齐,减小误差,提高对齐精度,本质是全局最小化对齐误差;第二种方法是寻求最佳接缝,致力于寻找无缝缝合的局部重叠像素,最终的结果由接缝的质量来进行判断。针对上述问题,本文提出了一种基于动态规划思想搜索最佳拼接缝算法,有效地消除了图像拼接中存在的伪影问题。然后结合改进的加权平均融合算法使得重叠区域光滑过渡,有效消除了拼接缝,提高了缝合图像的整体质量,使缝合图像中的信息更加准确。实验证明,本文方法可以有效
8、的去除拼接缝和伪影。1 基于最佳缝合线和改进加权平均融合的算法流程图本文提出的基于最佳缝合线和改进加权平均融合的图像拼接算法如图1所示。具体流程如下:首先确定目标图像和参考图像,利用SIFT算法进行特征匹配;其次通过动态规划思想搜索最佳重叠区域的最佳缝合线;最后结合改进的加权平均融合算法对重叠区域实现平滑过渡。?SIFT?图1 基于最佳缝合线和改进加权平均融合的拼接算法流程图2 图像配准本文通过SIFT算法进行特征匹配,采用RANSAC算法13对误匹配点进行去除,进而得到误差较小的匹配对。SIFT算法提出主要包括尺度空间极值检测、特征点定位、特征方向赋值以及特征点描述四大步骤。本文采用SIFT
9、算法对具有重叠区域的目标图像和参考图像进行特征点提取并匹配,如图2所示。通过这些匹配点对,我们可以得到两幅图像之间的坐标变换关系,进而求出单应矩阵H如式(1)所示:(1)技术广角 54图2(a)目标图像图2(c)特征点匹配图2(b)参考图像图2 SIFT算法特征点匹配结果假设两幅图像的特征点对为:,。对应关系如式(2)所示:(2)单应矩阵至少由4对匹配点来计算,通过式(2)求得正确的单应矩阵。3 图像融合本节中,我们分成两个步骤:1)对于配准后的结果,利用动态规划思想搜索最佳缝合线;2)利用改进的加权平均融合算法去除拼接缝和伪影。3.1 动态规划思想寻搜索最佳缝合线式(2)给出了两幅图像之间的
10、坐标变换关系,在此基础上寻求最佳缝合线,进而实现图像之间的精准对齐。在两幅图像重叠区域内,如果有一条使得像素的颜色、结构强度相差最小,这条线称为最佳缝合线。求解准则如式(3)所示:(3)式中,表示的是两幅图像重叠区域像素点的颜色差值,表示其结构之差。是算子实现的,在求解 和 方向的梯度时,分别采用模板:可以通过下式得到:(4)通过上式(3)和(4)颜色、结构差值最小来寻求最优接缝的步骤如下所示:1)若强度E的每一列都是一条最佳缝合线,首先从第一行开始,累加下一行的强度值;2)每一行的强度值向下一行的左、中、右三个方向进行延伸,获取最小的强度累计值;3)最佳缝合线即是强度值最小的一条线;4)根据
11、最佳缝合线进行图像融合。图3给出了利用动态规划思想求最佳缝合线的结果,图3(a)我们给出了它的二值图,图3(b)给出了最佳缝合线结果图。图3(a)最佳缝合线二值图图3(b)最佳缝合线结果图图3 动态规划思想求解最佳接缝3.2 加权平均融合加权平均法可以使得图像的拼接结果更加光滑,可以有效去除图像中的拼接缝。该方法已得到广泛应用。融合算法如式(5)所示:(5)其中,是融合后的图像,和是待拼接的图像,和分别是和中重叠区域对应像素的权重,且,。和的计算公式如式(6)所示:(6)技术广角 55其中,表示重叠部分任意点的坐标值,表示重叠部分左边界的坐标值,表示重叠部分右边界的坐标值。由(6)得权重示意图
12、如图4所示。I1?I2XlXr X图4 权重变换示意图3.3 改进的加权平均融合从上图4可以知道,重叠区域的像素不是连续的,不可避免的会造成两幅图像无法实现重叠区域之间的平滑过渡。因此,我们对加权平均融合算法的权值进行改进。改进后可得改进权重示意图如图5所示。I1?I2XlXr X图5 改进后权重变化示意图对于改进后的权重如式(7)所示:(7)其中,表示重叠部分左边界的坐标值,表示重叠部分右边界的坐标值,表示重叠区域任一点的距离。分析图5可知,在两幅图像的重叠区域之间,对比图4可以看出,权值变化由直线变为光滑的曲线,使得重叠区域之间的像素变的连续,进而实现两幅图像重叠区域之间的平滑过渡。4 实
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 最佳 缝合线 改进 加权 平均 融合 图像 拼接
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。