基于改进SIFT的无人机影像匹配方法.pdf

年 无线电工程 第 卷 第 期：引用格式：王一，齐皓，王瀚铮，等基于改进的无人机影像匹配方法无线电工程，（）：，（）：基于改进的无人机影像匹配方法王一，齐皓，王瀚铮，程佳（华北理工大学 电气工程学院，河北 唐山；唐山市金属构件产线智能化技术创新中心，河北 唐山）摘要：针对传统尺度不变特征变换（，）算法在匹配无人机影像时错误率较高、运行速度慢等问题，提出了一种基于改进的无人机影像匹配方法。利用联合双边滤波对原始影像进行预处理，在滤除噪声的同时保留边缘信息；将二进制描述算法强化描述符（，）与改进算法相结合，通过基于机器学习的采样模型对特征点构造具有强描述性的二进制描述子，在提升匹配正确率的同时加快匹配速度；使用算法进行特征点粗匹配，结合自适应局部仿射匹配算法对匹配的特征点进一步提纯。为了验证该方法的有效性，将、算法与所提方法进行对比实验，结果表明，该方法在匹配时间和精度方面均具有很好的性能，为影像高质量匹配提供了技术基础。关键词：影像匹配；尺度不变特征变换；二进制描述算法强化描述符；自适应局部仿射匹配中图分类号：文献标志码：开放科学（资源服务）标识码（）：文 章 编 号：（），（，；，）：（），（），：；收稿日期：基金项目：河北省高等学校科学技术研究项目（）；唐山市科技计划项目（）；华北理工大学专业学位研究生综合改革项目（）：（）；（）；（）引言近些年，无人机遥感技术广泛应用于城市建模、资源调查和地形勘测等多个领域，具有获取空间影像分辨率高、灵活性强和实时传输等优点。但在航拍过程中，由于无人机受自身飞行高度、相机视角等参数的限制，使得所拍摄的影像视野较小，无法显示更完整的信息，成像视差严重且存在较大的几何变形，从而导致影像匹配的效果不佳，因此如何实现无人机影像的特征匹配具有重要研究意义。现阶段测控遥感与导航定位 的影像匹配方法主要分为基于区域的方法和基于特征的方法两大类。基于区域的方法利用图像的灰度信息寻找图像中的同名点实现匹配。由于无人机影像数据的不稳定性，通过影像灰度进行匹配往往达不到预期的效果，且计算量大、处理时间过长，对无人机影像不太适用。基于特征的匹配方法因其稳健、快速被广泛应用于无人机影像的匹配。提出了尺度不变特征变换（，）算法，这种算法具有很强的提取特征点的能力，能克服一定的尺度、旋转及模糊变化。然而，算法最初是针对光学图像开发的，直接应用于灰度差异较大的大幅面遥感影像时很难找到足够多的正确匹配对。传统算法特征描述子过多、计算复杂、耗时巨大，因此等改进了的描述方式，将维描述符改为维，匹配效率有所提高，但其实时性仍无法满足实际场景需求。针对以上匹配算法运行时间长的问题，等提出算法，把特征描述子从维降到了维，速度有所提高但低维度的描述符描述能力较差，应用于高分辨率的无人机影像时准确率较低。上述算法通过减少描述符维度的方式来解决耗时长等问题，但并没有改变浮点型描述符冗余的数据结构。等在年提出算法，该算法采用算子进行检测并在特征描述阶段使用二进制描述符，同时利用图像金字塔和灰度质心法实现了尺度、旋转不变性，该算法抛弃了浮点型描述符，采用二进制描述结合汉明距离进行匹配，相比、算法，算法的匹配速度大大提高，然而基于手动设计的二进制描述符区分性比浮点型描述符差，匹配能力欠佳。为了提高影像匹配的运行效率，一些改进方法被提出用于解决上述问题。马耀名等提出一种基于高斯曲率滤波的无人机航拍图像匹配方法，该方法首先使用高斯曲率滤波构建图像金字塔，提取不同尺度的描述符两两做差，获得了较多的正确匹配点，但只适用于实时性较低的场景。郭丽等提出采用算法和算法相结合的方式剔除遥感图像局外点，匹配点对分布均匀但数量较少。陈保宇等基于算法对露天煤矿的无人机影像进行匹配，正确匹配率较高但耗时较长。无人机影像匹配不仅要保证较高的正确匹配率，还要拥有较快的匹配速度。因此针对无人机影像存在成像视差严重、噪声多的问题，首先采用联合双边滤波对原始图像进行降噪预处理，提高图像质量，并且针对传统算法在匹配高分辨率无人机航拍影像时运行速度慢、匹配正确率低的问题，提出从算法中第二组尺度空间进行特征检测；采用基于机器学习的二进制描述算法强化描述符（，）；通过算法对特征点进行粗匹配，减少算法迭代次数，最后引入自适应局部仿射匹配算法进行特征匹配的优化，以提高无人机影像的匹配精度和效率。改进的算法 联合双边滤波预处理在对图像进行特征匹配之前，首先要对原始的图像进行预处理，以消除无关的信息，最大程度地简化数据，使特征点检测更加均匀，便于计算机进行识别和处理。联合双边滤波是一种非线性的滤波器，可以达到保持边缘、降噪平滑的效果。联合双边滤波可以表示为：（）（槇槇），（）式中：表示输入图像，、表示像素坐标，槇、槇表示引导图像的像素值，、分别表示空间权重分布函数和像素局部范围权重分布函数，表示输出。联合双边滤波使用一幅导向图作为值域权重的计算依据。为了提高算法的效率，首先对原始图像进行下采样处理，然后将处理后的图像按照最邻近插值的方式上采样至原图大小，从而快速实现对一幅图像的联合双边滤波。特征提取在图像预处理的基础上，利用算法进行特征提取得到稳定准确的特征点。尺度空间的建立一幅图像的尺度空间（，）是由一个变化尺度的二维高斯函数（，）与初始图像的 卷积运算所决定的：（，）（，）（，），（）（，）（）（）()，（）式中：为尺度参数，（，）为图像的像素坐标，表示卷积运算。改进尺度空间极值点检测采用高斯微分（）函数，构建高斯差分金字塔（，）以实现特征点的检测：测控遥感与导航定位 年 无线电工程 第 卷 第 期（，）（，）（，），（）式中：为阈值，根据实验建议，一般取值槡。检测部分与算法类似，各检测点分别与目标点相邻的个像素点进行对比。但与算法不同的是，为提升算法的匹配效率，高斯金字塔的初始层并不采用扩展后的输入图像，而是使用原始图像，并从第组尺度空间开始进行检测，如图所示。图改进尺度空间极值点检测示意 去除边缘不稳定特征点主曲率在边缘方向的值较大，因此主曲率可通过矩阵求出：（，）（，）（，）（，）（，）。（）若矩阵的行列式（），则去除该特征点；若矩阵满足（）（）（），保留该特征点，反之剔除。根据提出，通常设定为。特征描述子算法使用一组维的特征向量来描述关键点，产生特征描述子，进行后续的匹配。但其计算量大，导致特征点冗余、耗时较长，无法满足实时性要求。算法基于手工设计二进制描述子，采样方式的建立依靠经验和实验验证，使其在实际应用中受到了很大的限制。为此，本文首次提出将基于机器学习的算子与改进的算法相结合，提取特征描述符。为使二进制描述符在获取匹配速度优势的同时具有浮点型描述符强鲁棒性和强区分性的优点，使用算法进行改进，在数据集上进行训练，使所有弱学习器共享一个相同的权重进而得到二进制描述符。定义损失函数和特征提取函数如下：（）（）()，（）式中：为弱学习器权重，（）为弱分类器，其中（）（；）由特征提取函数（）和阈值来定义弱学习器。（；，），（），（），（）（；，）（，）（）（，）（）()，（）式中：为任意像素的灰度值，（，）、（，）分别为像素点、在邻域内的灰度值之和。算子提取描述符工作流程如图所示，使用基于机器学习的采样模板（图中的蓝色和黄色方框）在该邻域内采样，通过特征提取函数（）计算蓝色方框和红色方框内像素平均灰度值的差，并与阈值做比较，若大于则为，反之为。然后归一化形成具有强描述性的二进制描述符。图提取描述符工作流程 特征点粗匹配与误匹配点滤除 算法粗匹配传统算法是从所有训练样本中寻找距离未知样本最近的个样本，将个样本中出现最多的类别赋给未知样本。然而这种方法需要每次都遍历待匹配图像的所有特征点，耗时较长。因此，利用图像的邻域信息改进算法，在特征匹配时增加运动平滑性约束，缩小特征匹配区域。正确的匹配在运动空间中是平滑的，运动平稳相邻的特征在运动空间中具有一致性，所以相邻特征点对应的匹配特征点的区域也是相邻的。从而，参考图像中的特征点搜索出待配准图像中与之匹配的特征点后，该特征点邻域内的所有特征点只需在待配准图像中匹配点的邻域内进行搜索即可。同时，为方便邻域的选取，在匹配时引入网格结构，将样本图像均匀划分为网络，以网络为单位进测控遥感与导航定位 行匹配。匹配示意如图所示，假设特征点的待匹配点为点，则与点在同一邻域内的特征点只需在特征点的邻域内搜索匹配点，从而缩短匹配时间，提高匹配速度。图特征匹配示意 匹配点精匹配粗匹配中存在大量的误匹配点，影响了匹配精度。传统的误匹配剔除算法常采用随机采样一致性（）算法，但计算参数不存在迭代次数的限制，且需要人为设定阈值，容易导致出现错误的结果，为此本文引入一个新的误匹配点滤除算法。首先需要输入初始假定匹配集合，为每个关键点分配一个置信度分数，然后在半径内选取具有置信度分数最高的点作为种子点，并为每个种子点都在初始匹配集合中找到相对应的匹配点。在此基础上，对每个种子点邻域中的局部仿射一致性进行验证。利用思想从邻域内选取最小样本去拟合仿射变换矩阵，然后筛除置信度低的匹配对，再从剩余的匹配点中采样继续估计仿射矩阵，如此反复进行迭代。最后得到匹配关系对个匹配、产生的残差，建立残差方程如下：（），（）式中：为匹配关系，为残差值。算法是对局部邻域内进行仿射变换估计，不同的邻域包含不同的仿射变换模型，所以无法得到一个固定的阈值适用于所有种子匹配点对应的邻域。因此采用一种基于假设检验的方式来判断候选匹配点是否为正确匹配点，假设所有离群点都符合均匀分布，将残差集合中的残差项映射到置信度：（），（）式中：是包含统一外点的假设，正样本计数：?为假设对应最差匹配关系下的内点的数量，表示所有候选匹配点残差值集合，从开始对进行标序时 。当置信度超过某个阈值时，则判断为正确匹配点，反之进行剔除。在每次迭代过程中都要对上述残差、置信度以及内点进行修正，然后使用先前获得的内点去拟合新的仿射矩阵，再进行检验，直至达到最大的迭代数，最终输出内点。方法验证及分析实验在 ，内存，操作系统，环境，计算机视觉库下，实现算法的调试。为了验证所提方法的可行性，将本算法与算法、传统算法、改进（）算法和改进（）算法在 标准图像数据集和组典型区域的无人机影像数据进行匹配实验。算法将特征点的矩阵区域改为圆形，从而降低了算法的复杂度。借助绝对距离和余弦相似度进行双重匹配，最后通过算法对错误的匹配点对进行过滤。标准图像数据集实验实验采用 标准图像数据集中、和五组图像作为实验图像，每组图像共张，变化程度依次不断加强，对应图像如图所示，其中图（）图（）分别表示视点变化、旋转变化、光照变化、模糊变化和压缩。采用正确匹配率（，）和运行时间等评价指标对图像匹配算法进行综合评价。定义为：，（）式中：为匹配正确的点数，为所有匹配对数。图展示了分别使用、和本文所提方法对图数据进行匹配的用时和正确率比较。分别用每个数据集的第一幅图像依次与后面幅图像进行匹配，得到不同算法的平均正确匹配率和平均匹配时间。由图（）可以看出，算法的匹配时间最长，而本文算法的匹配速度仅次于算法，相比于算法有较大的优势。这主要是因为在特征提取时，跳过了无用特征点较多的第一组尺度空间，减少了特征提取的计算量，并采用二进制描述子进行描述，同时算法大大减小了算法的复杂度。图（）展示了不同算法在不同条件下的正确匹配率，即，正确匹配点数与所有匹配对数之比，越高，代表算法的匹配效果越好。算法使用二进制描述符代替浮点型描述符并通过算法剔除错误匹配点，增加了算法匹配效率，但降低了稳定性。本文算法网格密度为，从图（）可以看出，本文算法相比于其他几种算法在视点、光照、模糊、图像压缩变化条件下正确匹配率较高。测控遥感与导航定位 年 无线电工程 第 卷 第 期 图实验图像 图数据集运行结果示意 无人机影像匹配及结果分析影像匹配是无人机影像处理的重要步骤，直接影响后期构建地形图和三维重建的精度。为了测试所提方法在无人机影像匹配中的性能，选取数据集进行匹配实验，该影像由无人机搭载相机捕获，分别包含、张图像。相机焦距，每张图像的分辨率为 ，平均飞行高度为、。选取部分影像如图所示，其中图（）和图（）的地形高程变化很明显，而其他个影像的变化相对较小。图（）中的地形高程为 ，图（）、图（）的高程差小于，图（）的高程变化最大，为 。和本文算法匹配效果对比如图所示，左图为经算法提纯后算法匹配效果测控遥感与导航定位 图无人机影像数据集 图，右图为本文算法匹配效果图，其中图（）图（）分别表示相应变化条件下的匹配效果。从图可以明显看出，该无人机影像含有较多的相似干扰点，改进前的算法特征匹配点对较少，尤其是在边缘和细节特征不明显的影像中存在大量的匹配偏差和误匹配，而本文所提方法特征匹配点对分布均匀，能够正确、精准地完成影像的特征匹配。为了显示所提方法具有明显优势，对本文及其他种算法所获得的实验数据做进一步的整理和分析。不同算法的匹配时长如表所示。图和本算法匹配效果对比 测控遥感与导航定位 年 无线电工程 第 卷 第 期 表不同算法的匹配时长 单位：测试图像本文算法 为了看起来更直观，图展示了各种算法运行匹配时间对比折线图。可以看出，对于以上组数据，算法用时最短，本文算法次之，依次是算法、算法、算法。算法虽使用二进制描述符但需要迭代计算解非线性方程，因此匹配速度较慢。、算法均采用浮点型描述符，基于欧式距离进行相似性计算，且使用基于的匹配算法，故运行时间较长。算法尺度空间和描述符构建比较简单，匹配速度最快。本文算法从第组尺度空间开始特征检测与描述，减少了特征提取的工作量。同时，算法减少了搜索特征点的迭代次数。因此，特征匹配的效率得到了显著提高。图（）展示了各种算法在不同场景下运行的正确匹配率，可以看出本文所提方法的效果较好，其中算法的为，算法的为，匹配率均较低。算法采用绝对距离和余弦相似度相结合的方式进行匹配，最后通过算法进行特征精匹配，匹配率略高于传统算法，为。算法的为。本文算法能够在保持较少的运行时间下，使准确率也得到保障，为，相比于传统算法提升了，为复杂环境下无人机影像配准提供了保证。图无人机影像数据集运行结果示意 结束语针对传统算法在无人机影像匹配中错误率较高、运行速度慢的缺陷，提出了一种改进的无人机影像匹配方法。为减少噪声对无人机影像匹配的影响进行联合双边滤波预处理，然后从第组尺度空间进行特征提取，有效减少了特征提取的计算量；在特征描述方面，首次引入与算法相结合，显著提高了运行速度；在特征匹配阶段增加运动平滑性约束，利用邻域信息改进算法，对特征点进行初步匹配，结合自适应局部仿射匹配算法实现精匹配，保障了算法的鲁棒性。通过在标准图像数据集和无人机影像数据集上进行多次实验验证，本文算法在保持较高正确匹配率的基础上极大地缩短了运行时间，提取特征点分布更加均匀，可满足无人机影像匹配的需求。?参考文献 ，（），：测控遥感与导航定位 ，：，（）：，（）：，（）：，（）：，（），（）：，：，：，：，：（）：，：，：，（）：，：马耀名，陈艺琳，李万禹电力巡线无人机航拍图像匹配算法研究计算机工程与应用，（）：郭丽，焦红波，董少敏基于算法的遥感图像自动匹配海洋测绘，（）：陈保宇，张锦基于特征的露天矿无人机影像匹配无线电工程，（）：?，：，：，：（）：王笛，胡辽林基于双目视觉的改进特征立体匹配方法电子学报，（）：，（）：，：，：韩敏，闫阔，秦国帅基于改进的无人机航拍图像拼接算法自动化学报，（）：，：，（）：，：，（）：，（）：韩宇，宗群，邢娜基于改进的无人机航拍图像快速匹配南开大学学报（自然科学版），（）：，：，：，（）：作者简介王一男，（），博士，副教授。主要研究方向：工业机器人视觉检测、视觉感知。（通信作者）齐皓男，（），硕士研究生。主要研究方向：视觉检测。王瀚铮男，（），硕士研究生。主要研究方向：机器人应用技术。程佳女，（），硕士，实验师。主要研究方向：仪器仪表技术。测控遥感与导航定位