基于sMLD特征的远红外航空图像配准算法.pdf

第 42 卷第 4 期2023 年 8 月红 外 与 毫 米 波 学 报J.Infrared Millim.WavesVol.42，No.4August，2023基于sMLD特征的远红外航空图像配准算法郭璠*，李小虎，朱洪，唐琎（中南大学自动化学院，湖南 长沙 410083）摘要：航空场景下的远红外图像迫切需要准确、鲁棒、快速的特征描述与自动配准方法。由于已有的多重线型描述符MLD特征存在“特征孤岛”和“尺度变换受限”的问题，因此针对远红外航空图像的配准问题，文章提出了一种聚合特征点以及线型描述符分段统计的特征描述方式，即sMLD特征。结合sMLD特征相互连接构成网状拓扑结构的特性，还提出了一种由粗到细的分支加速匹配算法RF-BA。其中，RF-BA粗匹配充分利用拓扑图的结构，通过局部寻优算法提高匹配的效率。RF-BA精匹配利用最小外接凸四边形原则和GMS校验原则，提升配准精度。实验结果表明，与已有的几种代表性配准方法相比，所提方法在配准精度和时间开销方面均具有更好的性能。关键词：远红外；航空图像；图像配准；特征提取；特征匹配中图分类号：TP391.41 文献标识码：ARegistration method of far infrared aerial images based on sMLD featureGUO Fan*，LI Xiao-Hu，ZHU Hong，TANG Jin（School of Automation，Central South University，Changsha 410083，China）Abstract：Accurate，robust，and fast feature representation and automatic registration are urgent needs for far infrared image in aerial scenes.Since the existing Multiple Line Descriptors（MLD）have the problems of“isolated feature”and“limited scale transformation”，thus a feature description method that combines feature points and line descriptors partition statistics is proposed.This paper refers to the feature descriptor as the Segmented MLD（sMLD）.Combining the characteristics that sMLD feature connect with each other to form a mesh topology structure，a coarse-to-fine branch accelerated matching（RF-BA）algorithm is also proposed.The RF-BA coarse matching improves the matching efficiency by making full use of the topology structure and local optimal algorithm.The RF-BA fine matching improves the registration accuracy by using the minimum circumscribed convex quadrilateral principle and GMS verification principle.Experimental results show that compared with other existing registration methods，the method has better performance in terms of registration accuracy and running time.Key words：far infrared，aerial image，image registration，feature extraction，feature matching引言图像配准是对统一场景区域中由不同的时间、视角或传感器获得的多幅图像在几何上寻找对应关系的过程，它是实现图像的拼接、融合以及变化检测等工作的前提和基础1。图像配准主要包括特征的提取和匹配，即利用图像中的显著特征，将其提取并表达为描述符。然后基于此图像描述符的相似性来建立两个图像的位置几何关系，再在两张图像中对比描述符进行匹配，以期克服图像的噪声干扰和图像的复杂几何失真问题等。目前基于特征的图像配准方法引起了学者们的广泛关注。例如，Lowe2提出了SIFT特征提取算法，其具有尺度不变性和旋转不变性，但是128维的特征描述符计算量较大。Bay 等人3提出了 SURF文章编号：1001-9014（2023）04-0558-10DOI：10.11972/j.issn.1001-9014.2023.04.018收稿日期：2022 09 19，修回日期：2023 04 18 Received date：2022 09 19，revised date：2023 04 18基金项目：长沙市自然科学基金（kq2208286）；国家自然科学青年基金资助项目（61502537）Foundation items：Supported by Changsha Municipal Natural Science Foundation（kq2208286）；National Natural Science Foundation of China（61502537）.作者简介（Biography）：郭璠（1982-），女，湖南常德人，副教授，博士，主要从事计算机视觉、图像处理方向的研究。Email：*通讯作者（Corresponding author）：E-mail：4 期郭璠 等：基于sMLD特征的远红外航空图像配准算法算法，其速度相比SIFT提升3倍左右，而性能没有下降。Rublee等人4提出了ORB算法，ORB算法是结合带方向检测的FAST检测器5和具备旋转不变性的BRIEF描述符6的一种高效的特征检测算法，但其无法克服尺度变换问题。随后，Leutenegger 等人7提出了BRISK，Alahi等人8提出了FREAK，Saha等人9提出了 ALOHA 等二进制的特征描述算子。除了以上特征提取算法，又有一些特殊的算法被提出。例如Alcantarilla等人10的KAZA算法使用非线性尺度空间避免边界模糊和细节丢失，使得算法能获得更好的鲁棒性。为了提高KAZE的计算效率，Accelerated KAZE（AKAZE）算法11被提出。AKAZE引入的快速显示扩散数学框架加速求解可以提高简历非尺度空间的效率。同时，其还引入相关二进制描述符，以解决旋转不变性和尺度不变性问题。近几年来，Boyraz等人12对比了23种特征提取算法的组合，他们发现SIFT在测试中综合表现是最准确的，而结合 FAST 检测器和 BRIEF 描述符的ORB 算法在测试中速度是最佳的。为此，Bian 等人13提出了一种基于网格运动统计的GMS算法，此算法能够在低质量以及模糊的图像中实现实时的匹配。尽管上述这些方法在可见光图像中具有良好的效果，但对于远红外图像，由于其自身特性，直接使用往往处理效果不佳。与此同时，红外图像的配准研究近年来也取得了一些进展。例如Alam等14利用基于梯度的配准算法来估计所获取的红外图像帧之间的偏移。Wang等人15提出了一种灰度非均匀性校正算法逐帧补偿远红外图像序列，然后利用基于SURF改进的方法来对远红外图像进行配准。Dong等人16提出了一种空间自适应的免疫克隆选择优化算法，其对红外图像配准的鲁棒性较高。而袁梦笛17则利用相位相关法结合角点检测方法，实现远红外图像的配准。裴夏等人18提出了一种双向搜索算法实现远红外图像中的高质量特征匹配。本文主要受Shi 等人19提出的多重线型描述符（Multiple Line Descriptors，MLD）特征的启发，针对远红外航空图像分辨率较差，对比度和信噪比较低，视觉效果模糊，且具有大量重复结构或稀疏结构，同时在进行图像配准时运行时间长并且匹配准确度低等难点，提出了一种基于sMLD（Segmented MLD）特征的远红外航空图像配准算法。本文的主要贡献如下：1）传统的特征点描述主要是对特征点邻域信息进行统计，这通常需要设计额外的高复杂性算法来使描述子能够有效表达尺度和方向等信息。而将特征点连接为线段，提取线段上的有效信息能够生成线型描述符。不同于点特征，线特征本身即拥有准确的尺度和方向等信息。但MLD特征中存在“特征孤岛”和“尺度变换受限”的问题，为此本文提出了一种聚合特征点以及线型描述符分段统计的sMLD特征解决方案。2）结合所提sMLD特征相互连接构成网状拓扑结构的特性，采用一种深度优先搜索，由粗到细的分支加速匹配方式RF-BA较好地实现了图像特征匹配。其中，RF-BA 粗匹配充分利用拓扑图的结构，通过局部寻优算法提高匹配的效率；RF-BA精匹配则利用最小外接凸四边形原则和GMS校验原则，提升配准精度。1 基于sMLD特征的远红外航空图像配准算法 1.1算法整体流程在航拍场景下，直升机的飞行高度通常为12 km，拍摄距离较远，同时为了不受时间和气候的限制，采用远红外相机，响应波段为814 m，对应的红外线为长波。由于红外图像是通过测量物体的热辐射而成像的，因此相比于可见光图像来说，图像的分辨率较差，对比度和信噪比更低，视觉效果也更为模糊，在图像配准上难度也更大。长波红外与短波红外相比来说，由于短波红外利用目标反射环境中普遍存在的短波红外辐射，在分辨率和细节上更优，所以短波红外图像配准难度相对较低。同时，在远红外航空图像中，覆盖区域很广且拍摄角度会发生变化，因此图像的光线强度存在显著差异，还存在重复和稀疏结构，并且轮廓边缘较少，在特征匹配中存在许多异常，导致在配准上难度相对较大。基于单目视觉的远红外航空图像配准不同于一般场景中的图像配准，飞机在高空中可能受气流影响，会产生颠簸，其位姿数据通常缺失。因此，航空图像的配准更加依赖算法精确性，需要一种高鲁棒性的算法。本文所提出的基于sMLD特征的远红外航空图像配准算法流程如图 1所示。由该图可知，此算法主要通过所提出的一种改进的 MLD 特征，生成线型描述符，并将其组合构成网状拓扑结构。而在特征匹配阶段，所提方法结合图的特性，采用“由粗到精”的策略提出了一种利用局部寻优55942 卷 红 外 与 毫 米 波 学 报算法提高匹配效率的配准方法RF-BA。1.2基于线型描述符的图像配准方法1.2.1基于线型描述符的MLD特征描述MLD特征检测器检测到的特征点都会通过线段与多个特征点相连。相比于其他经典点特征，MLD 特征具有更强的鲁棒性19。图 2 即给出了MLD特征的详细结构。如图2（a）所示，MLD特征描述先将图像中检测到的任意一对特征点连成线段，其线型描述符如图2（b）中所示。然后假设该线段长度为 L，等分为 n段，获得n+1个等分点Pr(r=0，1，2，n)。接着为抑制噪声干扰和增强描述子的鲁棒性，计算每个等分点邻域a a大小图像块的总像素强度值，其中图像块边长a和线长L满足线性关系a=kL+c。最后对比P0到Pn相邻图像块总像素强度值大小，若后者大于前者则置 1，否则置 0，最终能得到一个 n维的二进制描述符。在MLD特征中，一张图像上任意一个特征点能够和所有其他特征点进行连线，这就存在一个弊端：点特征通过提取特征点邻域信息构建描述子，实际上特征点的数量决定描述子的数量，而线型特征不同于点特征，特征点相互连线，描述子数量将会高出指数等级。假定特征点有N个，则存在N（N-1）/2根线段，即同样数量的描述子。为解决时间复杂度过高的问题，MLD特征对特征点之间连线的长度进行限制，可以使得每个特征点平均只连接上C根线段，如图2（a）所示，其中C是一个常数，因此实际获得CN个二进制描述子。范围限制得越小，则C值越小，越少的特征描述子有利于减少存储占用和提高匹配效率，同时约束线段长度的范围也意味着约束特征的尺度不变性。当所有特征点据此连接起来，就会成为一个网状拓扑结构，如图2（c）所示。MLD特征将其中可能存在左上角的独立特征点，以及右下角互相连接的几个特征点称作“特征孤岛”，这是限制线段范围所致。虽然只要检测到的特征点数量多或者分布均匀即可避免，但对于远红外图像而言，前述条件较为苛刻。1.2.2改进的sMLD特征描述MLD模型为降低时间复杂度对线段长度进行了约束，设置了参数(Lmin，Lmax)，其默认取值分别为128、256。通过合理设置参数范围，可有效减少描述符数量，但同时也会限制尺度不变性。此外，由于设置的Lmin=128，因此距离较近的特征点将无法构成MLD特征，这实际上不利于后续在较小的单元格中求取局部单应性矩阵，会损失精度。因此，本文提出一种改进的sMLD特征，主要是聚合特征点以及将线段分段，称之为 sMLD 特征（Segmented MLD）。相 比 于 MLD 特 征 仅 保 留 在 线 长 范 围(Lmin，Lmax)=(128，256)之 内 的 特 征，本 文 提 出 的sMLD特征主要有两处不同：1）聚合特征点。为了抑制噪声干扰和增强描述子的鲁棒性，在生成描述符时，是取决于边长为a的图像块的总像素强度值，而a和线长L满足线性关系a=kL+c。如图3（a）所示，假设有7个特征点，其中在特征点AB所在的邻域，即a a大小图像块的范围内，存在其他特征点，实际上生成描述符是取决于图像块的信息，而在同一个图像块内的特征点，其信息几乎没有太大的差别，因此如图 3（a）所示，将边长为a的图像块内的所有特征点聚合为一个特征点，可以在不损失特征信息的同时有效减少生成描述符的数量。图2MLD特征描述示意图Fig.2The schematic diagram of MLD feature description图1远红外航拍图像配准算法流程图Fig.1Registration algorithm flow chart of far infrared aerial images图3聚合特征点及端点与描述符关系示意图Fig.3The schematic diagram of aggregated feature points and the relationship between endpoints and descriptors5604 期郭璠 等：基于sMLD特征的远红外航空图像配准算法2）长短线段。我们实际采集图像的分辨率为640480，将(Lmin，Lmax)=(0，640)定义为最大的线长范围。线长范围L (l1，l2)的线型描述符称为“长线段”，用于匹配算法中跨越网格，搜索匹配点；线长范围L lmin的线型描述符称为“短线段”，可避免出现“特征孤岛”，其主要是用于匹配算法中进行网格内搜索，提升局部单应性矩阵的计算精度。在此基础上，所提算法将划分网格并求取各单元格的局部单应性矩阵。如果是利用 MLD 特征控制线长在(Lmin，Lmax)=(128，256)的范围内，一方面不利于提高各个单元格的局部单应性矩阵的精度，另一方面“特征孤岛”会对后续的特征点剔除带来额外的时间开销。因此，sMLD特征描述方法则主要是针对后续匹配算法的需求所进行的改进。sMLD 算法需要提供全部特征点的位置信息，以及特征点数量、描述符维度和线性因子值。该算法通过循环遍历所有特征点，同时连接任意两个特征点之间的线段。但受输入的线长范围所约束，仅构建适当长度的线段并生成其线型特征描述符。具体来说，该算法首先通过欧氏距离计算任意两个特征点间线段-p0pn的长度 L。其次通过线性公式a=kL+c计算等分点所在局部图像块的边长a。然后进行条件判断，如果L满足L a，则聚合该对特征点。若L满足L Sr-1时，相应的二进制位置为 1，否则置为0。最后，将二进制串b(r)(r=0，1，.，n)转化为整数形式fd=r=0n-12r b(r)，存入线型特征描述符中，同时保存满足线长范围的特征点存放位置、坐标信息和实际线长。1.3由粗到细的分支加速匹配算法所提sMLD特征使用了两种线长度：大范围搜索的“长线段”L (192，320)，以及小范围搜索的“短线段”L 64。最终会获得一个网状拓扑结构，实际上就是数据结构中的图，如图2（c）所示。因此，无需穷举或者像RANSAC算法那样迭代缩小误差，图结构可以利用局部寻优算法提高匹配的效率。本文将通过两种不同长度的线特征分别进行粗匹配和精匹配，在避免局部相似结构误判断的同时，提高构建单应性矩阵的精度。所提这种由粗到细的分支加速匹配算法称为RF-BA算法。在GMS算法13中，划分网格并利用统计数据，能有效提高算法的运行效率。所提算法划分网格有两个原因：一是使得RF-BA算法能充分利用图结构，加速匹配；二是获得更为准确的局部单应性矩阵。为此，所提算法将图像划分为G G的不重叠单元格。然后按照所提出的“长短线段”的概念，对应L (192，320)的“长线段”用于跨越网格搜索，此过程称为粗匹配。而L 64的“短线段”则用于网格内搜索，称其为精匹配。1.3.1RF-BA粗匹配算法为实现RF-BA算法，需要从一对正确的匹配点对开始搜索。通过实验我们发现：在连续两张图像中响应值较大的特征点中，几乎一定能找到至少一对正确的匹配点。实际上从全部完成排序的sMLD特征点中，查找前（N，N为特征点的总个数）个特征点，可以获得初始的一对正确匹配点。sMLD算法得到的特征信息是按照图结构进行存储的，因此特征匹配无需穷举或者反复迭代，可以通过局部寻优算法来提高匹配的效率。由于sMLD的特征点两两相连形成一个线型描述符，因此每个特征点关联着常数数量的线型描述符，如图2（a）所示。利用该特性，首先将所找出的正确匹配的初始sMLD特征点对作为当前点对，同时将不满足阈值的特征剔除，之后将距离在L (192，320)范围内的“长线段”予以保留，其他长度的线段进行剔除。然后对该点对所关联的多个线型描述符，分别计算汉明距离。接着选取相似度最高的一对描述符所在的线段作为最优路径，当前sMLD匹配点在两张图中进行转移，线段另一端所对应的端点成为新的当前sMLD匹配点。一直同步地在两张图中重复以上步骤，直到获得足够数量的匹配点。本文将这一部分匹配点称为“定位点”，每一个单元格内都应该至少存在一对这样的匹配点。然而实际中远红外航空图像存在特征稀少的区域，但这些区域并不需要精确地对齐，处于其中的网格不依赖“定位点”，算法允许出现0个“定位点”的单元格。由此可见，粗匹配算法本质上是一个深度优先算法，我们称其为双图同步深度优先搜索。即采用深度优先搜索对两张图像进行粗匹配，获取“定位点”。如图3（b）所示，单个特征点可能连接着不止一根线段，而线段的另一端对应着多个特征点，此56142 卷 红 外 与 毫 米 波 学 报处称其为端点。上述算法的输入参数为两张图像的一对DP和PL。其中，DP表示sMLD算法得到的线型描述符，包含用于匹配的特征信息。PL 表示DP对应的线段实际长度，以及另一端特征点的存放位置与坐标信息。算法输出为“定位点”的坐标信息。具体来说，此算法首先将正确sMLD匹配点对的相关数据从集合中取出，包括描述符特征信息和长度，以及端点的信息。然后筛选两张图像中的“长线段”，并通过汉明距离对两张图像的“长线段”进行局部暴力匹配，获得的距离值（相似度）与端点的位置一起存入Open表中。接着将Open表中的数据按照距离排序。最后将阈值作为递归的结束条件，当距离小于阈值时进行递归，即以最小距离的一对线型描述符作为最优路径。当前sMLD匹配点在两张图中进行转移，线段另一端所对应的端点成为新的当前sMLD匹配点。通过此双图同步深度优先搜索，可找出所有的“定位点”。图4给出了RF-BA粗匹配的示例。（1）首先对排序后的sMLD特征点中的前个特征点，采用穷举法找出第一对正确的sMLD匹配点对。虽是暴力匹配，但由于 N，假设每个特征点连接C个线性描述符，则该步骤的时间复杂度为O(NC2)。（2）如图4（b）中所示，第1对正确匹配点（红色点）为当前sMLD特征点对，在Image1和Image2中分别连上了6个和7个线型描述符，但进行局部暴力匹配时，有部分线型描述符无法匹配（灰色虚线），在算法中表现为汉明距离大于设定的阈值thr，因此被剔除。（3）与此同时，部分线型描述符（红色叉）不满足L (192，320)，无法实现跨域网格，因此同样被剔除。（4）剩下的端点则存入Open表，表示待深入搜索的匹配点。同时，根据最优路径（橙色实线），当前sMLD匹配点对转入与其对应的端点（橙色点）。（5）如图 4（b）中所示，从新的当前 sMLD 匹配点（橙色点）开始搜索。根据最优路径（蓝色实线），当前 sMLD 匹配点转移到下一对端点（蓝色点）。（6）如图4（b）中所示，继续从新的匹配点（蓝色点）开始搜索。（7）各层递归的结束条件为：Open表中没有待深入搜索的匹配点，此时会将当前的sMLD匹配点作为“定位点”存入相关集合中。以上的DFS算法在搜索“定位点”时，会出现无效搜索，即重复地对同一对匹配点进行多次搜索。实际上只需要再添加一个哈希结构的Close表，即可将已经搜索过的匹配点排除，从而有效避免算法陷入死循环。RF-BA粗匹配利用“长线段”，可以跨越网格，避免陷入某一个单元格中，能有效降低局部相似结构误判断的概率。粗匹配获取的“定位点”，均匀分布于绝大部分单元格中，这也是精匹配中各单元格的初始sMLD匹配点对。1.3.2RF-BA精匹配算法精匹配是对单元格进行精确搜索，它的作用是获取更为准确的局部单应性矩阵。所提精匹配算法的具体步骤如下：（1）如图5（b）和图5（c）所示，将粗匹配找到的“定位点”（红色点）作为当前点对，对距离在L64范围内的“短线段”予以保留，其他长度的线段则剔除。（2）对该点对在 Image1 和 Image2 中所关联的多个线型描述符的集合均计算汉明距离。选取相似度最高的一对描述符所在的线段作为最优路径，当前sMLD匹配点在两张图中进行转移，线段另一端所对应的端点（橙色点）成为新的当前 sMLD 匹配点。（3）算法在 Image2 中限制的网格数量为 11，为确保位于网格边缘的特征点能正确匹配，将Image1 中网格数量限制放宽到 33，如图 5（c）所示。因此，当对某些sMLD匹配点进行深入搜索时，其部分端点（灰色点）的坐标位置会超出Image2中11的网格界限(xmin，ymin)，(xmax，ymax)，则剔除此端点。通过次优距离的线型描述符对，继续进行双图深度图4RF-BA粗匹配算法示例Fig.4Example of RF-BA rough matching algorithm5624 期郭璠 等：基于sMLD特征的远红外航空图像配准算法优先搜索，直至当前sMLD没有关联的线型描述符为止。然后回溯到上一匹配点对，直至在单元格内搜索出所有的匹配点对。（4）通过步骤（1）到（3），已找出正确的匹配点对，本步骤利用GMS校验原则13来对所有匹配点进行校验，筛选掉结果不满足要求的单元格。（5）对于被保留的单元格，四个匹配点（绿色点）的坐标决定了其最小外接凸四边形，因此用一个最小外接矩形将该凸四边形包围（绿色虚线框），其包含了所有匹配点，且该矩形面积在原图像面积中的占比越大，后续图像配准的精度则越高。此步骤即为最小外接凸四边形原则，保存这4个匹配点对用于后续计算单应性矩阵。由此可见，RF-BA精匹配利用“短线段”，可以在单元格中进行精确搜索，能有效提高计算单应性矩阵的精度。精匹配的输出为各单元格是否被校验保留的标志，以及被保留单元格中最优的4个匹配点。2 实验结果与分析 实验中我们主要从两个方面对所提算法进行性能评估：1）RF-BA匹配算法的性能分析；2）各配准方法的性能对比分析。在实验数据方面，实验中采用多组远红外图像数据集用于测试，图6即为相关测试数据示例。此数据集中的图像分辨率均为640480，图像序列名称及其所代表的典型情况依次为：a.Highway（尺度变换），b.Island（光照变换），c.City（模糊），d.Computer（旋转），e.Car（视角变换）和f.Building（缩放与旋转）。每个序列包含两张图片，左图为参考图，右图为与参考图进行特征点匹配的测试图。右图通过参考图变换得到，与其存在一个单应性矩阵，此单应性矩阵用于变换检测到的特征点的坐标位置。通过对比真实特征点与检测所得特征点之间的距离，即可衡量特征检测算法的准确性。2.1RF-BA匹配算法的性能分析1）RF-BA 匹配算法的时间复杂度和可靠性分析sMLD特征描述算法生成的是64位的二进制线型描述符。在特征匹配过程中，通常二进制描述符是根据计算的汉明距离判断描述符是否匹配。而在计算机中，计算汉明距离仅需要进行异或操作与计数操作，此类硬件操作指令的运行效率高。假设共计N个特征点，每个sMLD特征点平均连接上C根线段，其中C是一个常数。因此，RF-BA算法在经过(N)次对比，找出第一对正确匹配点的效率为C (CN)=O(C2N)，而后续双图同步深度优先搜索的寻优效率也是O(C2N)。因此，RF-BA 算法的整体时间复杂度为O(C2N)。可见，相比于BF算法和迭代寻优的RANSAC方法，启发式的RF-BA算法匹配效率较高。通过在图6（e）所示的Car（视角变换）图像数据集中对参考图像检测出500个特征点，然后利用数据集中的测试图像进行特征点检测，此时就获取了两个特征点集，作为对比图像的正确匹配点对。接着通过sMLD方法分别对两幅图像进行特征提取，然后进行暴力匹配，获得图7（a）所示的匹配对相似度概率密度分布曲线图。最后，改变RF-BA算法的阈值thr，统计在不同阈值下的召回率、准确率以及运行时间，获得图7（b）所示的曲线图。通过对图7所示的曲线进行分析可获得如下结论：a.非正确的匹配对，其线型描述符之间的汉明距离概率密度分布情况如红色曲线所示，呈现正态分布。所提算法选择的是64位的二进制描述符，因此最大汉明距离的一半为32，恰好是正态分布的中心，符合统计学中的随机分布特性；b.正确的匹配对，其概率密度分布情况如蓝色曲线所示，RF-BA图5RF-BA精匹配寻优示意图Fig.5 The schematic diagram of RF-BA precise matching and optimization图6远红外图像特征检测数据集Fig.6Far infrared image feature detection data set56342 卷 红 外 与 毫 米 波 学 报算法中的最佳匹配对的分布如黑色曲线所示，可见蓝色曲线与红色曲线有重叠，而黑色曲线与红色曲线几乎无重叠，印证了RF-BA算法中的最优路径所经过的最佳匹配对是具有可靠性的；c.随着阈值取值的变大，RF-BA算法的召回率会显著增加，随后趋于平稳，而准确率曲线则相反。为平衡召回率、准 确 率 和 运 行 时 间，所 提 算 法 将 阈 值 设 置 为thr=10。2）RF-BA算法加速效果分析图8是在Car（视角变换）图像数据集上，利用参考图像将其进行投影变换得到5幅变换程度依次加深的测试图像，以测试暴力匹配法（BF）、快速最近邻特征匹配算法（FLANN）20、随机采样一致性算法（RANSAC）21以及所提 RF-BA 算法的召回率以及运行时间。其中，图8（a）为召回率的对比结果柱状图，图8（b）为运行时间的对比结果条形图。从图8可以看出：1）随着图像情况变得恶劣（Car图像集的视角变得越来越大），所有匹配算法的召回率都出现了不同程度的下降，其中 RANSAC 方法最不稳定，本文提出的RF-BA算法表现出最强的鲁棒性；2）在运行时间上，BF和FLANN方法效率几乎不随着图像变恶劣而改变，而RANSAC和RF-BA方法则受图像质量的影响。值得一提的是，RF-BA算法在图像质量较好的情况下表现出极高的运行效率，而体现在算法中则是局部寻优算法在高质量的图像中能够更快速地寻找到最优的路径，减少了回溯的时间开支。2.2各配准方法的性能对比分析1）P-R曲线准确率-召回率曲线（P-R曲线）能够直观地反映不同方法在针对远红外图像数据集的特征提取性能。图 9即给出了已有经典局部特征提取方法SURF、AKAZE、FREAK 与所提 FAST 检测器结合sMLD算法的P-R曲线对比图。图6即为本实验所用到的实验数据，分别对应尺度变换、光照变化、模糊、旋转、视角变换以及旋转结合缩放等情况。从图9的统计结果可以看出：除了FREAK算法针对模糊图像有特殊的优化外，整体上FAST检测器结合sMLD算法表现更为优异，并且在旋转和视图8各匹配算法召回率与运行时间对比柱状图,(a)召回率对比，(b)运行时间对比Fig.8 Bar chart comparing the recall rate and runtime of each matching algorithm,(a)comparison of the recall rates,(b)comparison of the runtime图7概率密度分布与阈值影响曲线图,(a)匹配对相似度概率密度分布，(b)不同阈值对RF-BA算法的影响Fig.7 Probability density distribution and threshold influence curve,(a)matching pair similarity probability density distribution,(b)the influence of different thresholds on RF-BA algorithm5644 期郭璠 等：基于sMLD特征的远红外航空图像配准算法角变换等场景中，sMLD算法的曲线明显更为稳定。由此即可说明：相比于其他几种方法，所提FAST检测器结合 sMLD 算法可以更好地适应这几类几何变换。2）RMSE与运行时间为更为全面地对比所提方法与其他已有配准方法的性能优劣，对比了各配准算法对于远红外航空图像配准的效果以及运行时间。图10即为四组远红外图像测试对，包括：（a）8位单张灰度图像对，（b）24 位单张真彩色图像对，（c）8 位灰度列图像对，（d）24位真彩色列图像对。图10（a）和（b）所示的单张图像的分辨率均为640480，其用于测试顺序图像序列连续配准的性能。图10（c）和（d）所示的大量列图像对的分辨率均为 80010000，其用于测试多列图像之间的配准性能。实验中采用了RMSE（均方根误差）对各配准方法进行评估。RMSE能够反映特征点在经过透视变换前后的误差大小，其值越小意味着变换后的图像与参考图像的差异越小，证明配准效果越好。该指标的实验对比结果如图11（a）所示。从该图可以看出，在处理顺序图像序列中连续两张图像配准时，各种方法的RMSE值差距不大，说明各方法对于单独两张图像的配准准确率相差不大。虽然多数已有方法对两幅图像的配准可取得较好的效果，但却无法很好应对大量图像的配准问题，更无法有效解决大量远红外图像的序列配准问题。实验中我们发现：经典的图像匹配和对齐方法往往仅能实现图像的局部对齐，而很难获得精确的整体配准效果。究其原因是因为航拍场景下的远红外图像获取，主要采取让直升机由上往下逐列采集多组红外顺序图像序列的方式，这就造成单组顺序图像序列图片较多，在进行单列连续配准时就会导致图像特征的逐步消失。同时，多组顺序图像序列配准构成多列图像后，由于透视关系会导致相邻序列图像之间上下重叠率不一致，这也是多数已有方法难以实现多列整体配准的另一主要原因。因此，大量多列远红外航拍图像的配准更加依赖于算法的精确性22。本文方法利用所提sMLD特征，结合分支加速匹配算法RF-BA，可以有效地解决具有上述非一致重叠率的大量远红外航拍图像的配准问题。从图11（a）所示的 RMSE柱状图统计结果也可以看出，对于多列远红外图像，无论是对8位灰度列图像对，还是对24位真彩色列图像对，所提方法均能在配准上获得最小的RMSE值，对应最优的配准效果。在方法运行时间方面，主要根据不同的检测器以及匹配算法之间的组合形式，分解为检测器、描述子、预匹配和匹配算法的分别耗时，在条形图中用不同颜色表示，并进行叠加便于统计和对比，实验结果如图11（b）所示。由该图可知，所提方法虽图9FAST结合sMLD算法与其他特征提取方法的P-R曲线对比图Fig.9Comparison of P-R curves between FAST combined with sMLD algorithm and other feature extraction methods56542 卷 红 外 与 毫 米 波 学 报难以像ORB结合GMS方案一样对于较大的列图像对做到实时配准，但其在保证较良好的配准精度的同时，运行时间也是优于多数的配准方案，因此所提方法能够满足远红外航空图像序列配准这一应用场景的实际需求。基于图10（b）中24位单张真彩色图像对，比较不同组合方法在匹配准确率上的差异，实验结果数据如表1所示。由该表可知，所提方法仅有1个误匹配点，配准准确率高达 94.4%，明显优于其他方法，同时 RMSE 指标也为最优，运行时间仅次于ORB+GMS方法。综上所述，所提方法具有明显的优势，在准确性、实时性以及质量上均得到较大提升，可以很好地解决远红外航空图像配准效果差的问题。3 结束语 本文针对远红外航空图像的配准问题，提出了聚合特征点以及线型描述符分段统计的 sMLD 特征。在此基础上，结合sMLD特征相互连接构成网状拓扑结构的特性，提出了一种由粗到细的分支加速匹配算法RF-BA。RF-BA算法在粗匹配阶段，主要利用拓扑图的结构，通过局部寻优算法提高匹配的效率。在精匹配阶段，主要利用最小外接凸四边形原则和GMS校验原则来提升配准精度。实验结果表明：相比于已有的图像配准方法，sMLD特征对于远红外图像的配准具有更好的鲁棒性，特别是对几何变换的场景有更强的适应性。在处理具有非一致重叠率的大量远红外航拍图像拼接应用上本文方法的配准效果也更具优势，同时由图10四组用于对比实验的远红外图像对Fig.10Four sets of far infrared image pair for comparative experiments图11RMSE与运行时间的对比结果图，(a)RMSE对比，(b)运行时间对比Fig.11Comparison of the RMSE and runtime results,(a)the RMSE Comparison,(b)the run-time comparison表1针对图10(b)所示的远红外图像对的配准结果Table 1Registration results for the far infrared image pairs shown in Fig.10(b)MethodSURF+BFSURF+RANSACSURF+FLANN+RANSACAKAZE+BFAKAZE+RANSACAKAZE+FLANN+RANSACFREAK+BFFREAK+RANSACFREAK+FLANN+RANSACORB+GMSOurs（FAST+sMLD+RF-BA）Matching points3634293027253231262418Error matching points1486136688631RMSE11171551371210893Accuracy/%61.186.779.356.777.876.075.088.587.087.594.4Erro