基于分段组合特征降维的交叉视角目标定位研究.pdf

现代计算机Modern Computer第 29 卷 第 13 期2023 年 7 月 10 日基于分段组合特征降维的交叉视角目标定位研究刘琳，赵化启*（佳木斯大学信息电子技术学院，佳木斯 154007）摘要：为提高交叉视角目标定位的精度，提出了一种基于分段组合特征降维的交叉视角目标定位方法。首先使用ResNet50作为主干网络，并选取实例损失函数，提高了目标定位的性能。其次，为去除所提取特征的冗余信息，提出了一种分段组合降维方案对图像全局特征进行降维，保留了特征的主要信息并降低了特征维度，从而提高了目标定位的效率。在University1652数据集上进行验证，实验表明所提方法与降维之前特征匹配相比，AP和Recall1分别提升了1.08倍和1.1倍，能有效提高定位精度。关键词：目标定位；特征提取；特征降维；交叉视角文章编号:10071423（2023）13003906DOI:10.3969/j.issn.10071423.2023.13.006收稿日期：20230308修稿日期：20230318基金项目：佳木斯大学优秀学科团队项目（JDXKTD2019008）；佳木斯大学教育教学改革研究项目（2021JY149）；佳木斯大学国家基金培育项目（JMSUGPZR2022016）作者简介：刘琳（1997），女，山东济南人，硕士研究生，研究方向为图像处理；*通信作者：赵化启（1973），男，黑龙江齐齐哈尔人，博士研究生，研究方向为图像处理、模式识别，Email：0引言交叉视角目标定位是根据参考图像找到无人机图像中目标位置的过程。交叉视角目标定位技术具有广阔的应用前景，能够实现无人机定位、导航以及事件检测等任务13。早期的图像地理定位任务是通过查询图像与带地理标签的街景图像匹配来完成的45，然而由于带地理标记的图像大部分集中在城市地标中，从而限制了该方法的应用。Lin等6最早提出了交叉视角图像匹配，并制作了包含地面图像、航空图像以及地面属性图像的数据集，图像定位成功率为17%。而后学者们也提出了基于地面图像与航空图像的地理定位数据集78。目前基于深度学习的方法已经广泛应用于交叉视角目标匹配任务，比如 Liu 等8提出了 OriCNN，提高了 所 学 特 征 的 分 辨 性；Hu 等9提 出 了CVMNet，使用完全卷积层提取局部图像特征并结合 NetVLAD10将其编码为图像全局描述符。考虑到地面图像与航空图像存在差异，Zheng等11提出了University1652数据集，该数据集包括了三个视角的数据，包含了无人机图像、卫星图像以及地面图像，能够更好地学习视角不变特征，弥补了不同数据间外观的差异。Wang 等12提出了 LPN（local pattern network）网络，充分利用了图像相邻区域的上下文信息，提高了交叉视角目标定位的精度。薛朝辉等13提出了一种融合NetVLAD和三元神经网络的交叉视角图像定位方法，取得了较高的定位精度。虽然基于深度学习的方法在交叉视角目标定位上取得了较好的效果，但是存在学习所得特征维度过高、区分性不足的缺点，这会影响交叉视角目标定位的速度和精度。因此，针对上述问题，本文先通过Resnet50网络选取实例损失14作为损失函数，选取University1652数据集的无人机图像及卫星图像进行训练得到特征提取模型。另外，图像经过特征提取后，提出了一种分段组合降维方案对图像全局特征进行降维，保留了特征的主要信息并降低了特征维度，最终 39现代计算机2023年提高了交叉视角目标的检测精度和速度。1基于迭代降维的交叉视角图像定位1 1.1 1整体框架整体框架本文所提方法整体框架如图1所示，包括了训练以及检测两个步骤。其中训练网络为Resnet50网络，训练数据为无人机图像和卫星图像，并选取实例损失作为损失函数进行训练得到特征提取模型。在检测阶段，将目标图像（无人机图像）和卫星图像数据库输入到特征提取模型，得到512维的全局图像特征，基于主成分分析（PCA）方法提出了一种迭代特征降维方案对特征进行降维，最后将两者特征进行相似性比对得到目标图像的匹配图像。1 1.2 2特征提取网络特征提取网络本文选取ResNet5015作为网络的主干，其中ResNet是一种残差神经网络，主要思想是在传统的卷积神经网络中加入残差学习，这样可以避免在网络模型层数加深后出现学习退化问题。残差网络结构的应用，在避免上述问题出现的同时使得网络系统性能得到一定提升。由此可见，ResNet50 是一种简单易用、性能优化、内部结构提供更小卷积内核的残差学习网络架构。本文所用到的ResNet50的网络结构组成是通过 49 个卷积层和 1 个全连接层组成的。其中，从输入到输出分别由5个阶段组成，第1阶段是对输入的预处理操作，后4个阶段是由结构相似的Bottleneck组成。第2阶段的Bottleneck数量是3个；第3阶段的Bottleneck数量是4个；第 4 阶段的 Bottleneck 数量是 6 个；第 5 阶段的Bottleneck数量是3个。1 1.3 3损失函数损失函数了解语义关系，本文需要一个目标来消除不同视角间的差距。因为所提供的数据集为每个目标地点提供了多个图像，所以可以将每个地点视为一个类来训练分类模型。鉴于图像语言双向检索的最新发展，采用一种称为实例损失的分类损失进行训练。其主要思想是共享分类器可以将获取到的不同图像映射到同一个共享特征空间。我们将xs、xd和xg表示为位置c的三个图像，其中xs、xd和xg分别是卫星视图图像、无人机视图图像和地面视图图像。给定来自两个视图的图像对xs,xd，基本实例损失可以表述为Ps=softmax()Wshare Fs(xs)（1）Ls=-log()Ps(c)（2）检测阶段特征提取模型512维特征相似性比对得到匹配图像匹配的机载云图像 机载云图像特征提取模型512维特征512维特征PCA方法PCA方法特征降维特征降维instanceloss生成特征提取模型训练模型图 1交叉视角目标定位整体框架 40刘琳等：基于分段组合特征降维的交叉视角目标定位研究第13期Pd=softmax()Wshare Fd(xd)（3）Ld=-log()Pd(c)（4）其中，Wshare是最后一个分类层的权重。p（c）是对c类的预测可能性。与传统的分类损失不同，共享权重对高级特征提供了软约束。其中，可以把W看作一个线性分类器。优化后，不同的特征空间与分类空间对齐。在本文所研究内容中，通过进一步扩展基本实例丢失处理不同来源的数据。例如，如果提供了一个以上的视图，则只需要包括一个以上的条件项：Pg=softmax()Wshare Fg(xg)（5）Lg=-log()Pg(c)（6）Ltotal=Ls+Ld+Lg（7）1 1.4 4基于分段组合的降维方案基于分段组合的降维方案分段组合降维是基于 PCA（principal component analysis）完成的，包括了特征分段与特征组合两部分。首先，通过对特征进行划分，可以得到若干特征子集，对若干特征子集分别进行PCA降维，最后将降维后的特征子集汇集到一起得到分段降维结果。然后，是特征组合，在特征分段部分设置不同的划分维度，可以得到不同维度的特征子集，将这若干个不同维度的特征子集汇集到一起进行二次降维，得到最终降维结果。PCA降维过程如下：设查询图像经过特征提取模型所得的特征维度为M维，数据可以表示为X=(X1,X2,XM)，其中Xk是一个N*1维的列向量，则X是一个N*M的矩阵，降维后的低维度输出是f(f M)。其主要步骤为如下几个部分：（1）去除平均值。-Xk=1N=i=1NXik（8）式中，i=1,2,N;k=1,2,M。（2）计算原始数据集高维数据均值的标准矩阵。X*ik=Xik-XkVar(-Xk)（9）式中，Var(-Xk)=1N-1i=1N(Xik-Xk)2。（3）计算协方差矩阵。F=1Nk=1NX*ik(X*ik)T（10）（4）计算协方差矩阵的特征值1,2,M，其中前一个取值是远大于后一个的取值，以及其对应的特征向量a1,a2,aM，并且将求得的特征值进行排序，依次是从大到小进行排序，相对应的特征向量也会随着特征值的大小顺序进行依次排列；通过特征值的具体数值可以计算主成分所包含的贡献率i和累计贡献率。i=iM=M（11）（5）取最大的f个特征值(f M)，将其对应的特征向量a1,a2,af组成一个转换矩阵B=a1,a2,af，利用以下公式计算得到原始目标检测视图数据X降至f维的数据Y。Y=BTX（12）通过以上变换之后，原始特征中的绝大部分信息都可以排在前面的数个主成分分量中，其他比较靠后分量所包含的信息基本就是噪声，所以PCA算法在一定程度上也起到了降噪的作用。2实验分析2 2.1 1实验数据集实验数据集本文选用 University1652数据集进行实验，University1652 数据集包含了 72 所大学的 1652座大学建筑作为目标，包含了无人机图像、地面图像以及卫星图像。其中，作者使用谷歌地球提供的3D模型来模拟无人机相机，通过改变视角来收集模拟图像作为无人机图像，通过Google地图来收集目标建筑的街景图像作为地面图像。最后，每个目标建筑平均有1张卫星图像、54张无人机图像及3.38张真实街景图像。选取其中1402座具有完整数据的目标建筑进行实验，将1402组图像划分为不重复的训练集和测试集，剩余250组图像作为噪声干扰辅助训练。2 2.2 2评价准则评价准则RecallK是对首个匹配图位置敏感的评估协议，并可以使用到图库里只有一个真实匹配图的测试集的情况。但是，在University1652数据集中，图库有许多视点不一致的实际匹配图 41现代计算机2023年像，使得RecallK无法准确表示出其他地面图像的匹配程度。所以，在 RecallK 的基础上，也采用平均精度（AP）。平均精度（AP）实际上真正表示的是精度召回（PR）曲线下面的面积之和，能得到图库中所有地面的实际图像。针对 RecallK，主要计算AP并给出所有查询的平均AP的数值。在对University1652数据集进行PCA降维后，其主要的评价仍然考虑上述给出的几个重点标准，体现出对原始数据创新降维后各个评价的数值变化。其中，AP（average precision）为平均精准率，具体是（某一个类别）每个样本的精确率求和/样本总数N。AP=1Ni-1mprecisioni（13）RecallK为预测正确的相关结果占所有相关结果的比例：RecallK=TPKTPK+FNK（14）2 2.3 3实验结果实验结果实验选取101张卫星图像作为目标图像，与卫星图像对应的无人机图像作为待匹配图像，通过训练的特征模型得到整体特征分别用query_f 和 gallery_f 来表示。其中目标图像的特征维度是 101*512，待匹配图像的特征维度是5022*512。设置分段降维实验以及分段组合降维实验来验证本文所提方法的有效性。2 2.3 3.1 1分段降维实验分段降维实验通过对特征进行划分，可以得到若干特征子集，对若干特征子集分别进行PCA降维，最后将降维后的特征子集汇集到一起得到最终的特征降维结果。如图2所示，实验分别选取划分后特征子集维度为3、4、5、10、15、20、25、30、35、40、45、50维进行对比，评价指标为AP 和 Recall。以特征子集维度为 3 维为例，是将原特征中相邻的 3 个维度降成 1 维，并以类推，直至完成整体特征降维。未进行降维时，AP 为 47.5%、Recall1 为 40.66%、Recall5 为71.51%、Recall10 为 83.71%、Recalltop1 为52.55%。使用经过降维后的特征进行评价时，指标均优于未降维的特征。其中，将特征划分子集维度为 20 维时，效果能达到最好，其 AP 为49.48%、Recall1为42.81%、Recall5为72.94%、Recall10 为 84.35%、Recalltop1 为 54.62%。图3、图4分别为不同分段数降维后的Recall1和AP评价结果，可以直观看出将特征划分子集维度为20维时，效果能达到最好。40455055606570758085903维4维5维 10维15维20维25维30维35维40维45维50维评价准则/%分段降维维数/维Recall1Recall5Recall10Recalltop1AP34510 1520 25 30 3540 45 509085807570656055504540分段降维维数/维评价准则/%Recall1Recall5Recall10Recalltop1AP图 2不同分段数降维后的整体评价结果 40.54141.54242.5433维4维5维 10维 15维 20维 25维 30维 35维 40维 45维 50维评价准则/%分段降维维数/维Recall134510 1520 25 30 354045 504342.54241.54140.5Recall1分段降维维数/维评价准则/%图 3不同分段数降维后的Recall1评价结果 47.647.84848.248.448.648.84949.249.449.63维4维5维10维 15维 20维 25维 30维 35维 40维 45维 50维评价准则/%分段降维维数/维AP49.649.449.24948.848.648.448.24847.847.63451015202530354045 50分段降维维数/维评价准则/%AP图 4不同分段数降维后的AP评价结果 42刘琳等：基于分段组合特征降维的交叉视角目标定位研究第13期2 2.3 3.2 2分段组合降维实验分段组合降维实验在上面分段降维实验的基础上，再进一步对不同维度的特征子集进行整合降维。具体为，首先按照2.3.1节描述，将整体特征划分为子集维度为3、4、5的子集，分别对这三个维度的特征子集进行降维，随后三个降维后的特征子集汇合到一起进行二次降维。本节实验选取了子集为3、4、5，20、25、30，25、30、35和30、35、40维度的特征子集进行实验，整体结果如图 5所示，二次降维结果仍然比未降维特征要好，其中子集维度为3、4、5进行二次降维的实验结果最优。图6为不同维度整合二次降维后的Recall1评价指标，从中可以看出经过二次降维后Recall1的数值均高于分段降维的实验结果，其中子集维度为 3、4、5 的 Recall1 值最高为44.92%。图7不同维度整合二次降维后的AP评价指标，从中可以看出经过二次降维后AP的数值均高于分段降维的实验结果，其中子集维度为3、4、5的AP值最高为51.42%，达到了最高精度。40455055606570758085903/4/520/25/3025/30/3530/35/40评价准则/%分段降维维数/维Recall1Recall5Recall10Recalltop1AP9085807570656055504540评价准则/%3/4/520/25/3025/30/3530/35/40Recall1Recall5Recall10Recalltop1AP分段降维维数/维图 5不同维度整合二次降维后的整体评价结果 4343.54444.54545.53/4/520/25/3025/30/3530/35/40评价准则/%分段降维维数/维Recall13/4/520/25/3025/30/3530/35/4045.54544.54443.543Recall1评价准则/%分段降维维数/维图 6不同维度整合二次降维后的Recall1评价指标 49.85050.250.450.650.85151.251.451.63/4/520/25/3025/30/3530/35/40评价准则/%分段降维维数/维APAP评价准则/%3/4/520/25/3025/30/3530/35/40分段降维维数/维51.651.451.25150.850.650.450.25049.8图 7不同维度整合二次降维后的AP评价指标3结语针对交叉视角目标定位任务，本文首先通过Resnet50网络，并选取实例损失作为损失函数，选取University1652数据集的无人机图像及卫星图像进行训练得到特征提取模型。然后，图像经过特征提取后，本文提出了一种分段组合降维方案对图像全局特征进行降维，保留了特征的主要信息并降低了特征维度。实验表明分段降维后的AP和Recall1对比原始特征进行匹配分别提升了1.04倍和1.05倍。在分段组合降维对比原始特征匹配的AP和Recall1分别提升了1.08倍和1.1倍。实验结果表明，通过分段组合降维方案能够有效提高交叉视角目标定位精度。参考文献：1 王嘉怡，陈子洋，袁小晨，等.面向跨视角地理定位的感知特征融合网络 J/OL.计算机工程与应用：110 20230317.http:/ 张志雯，郭霞，许东丽.基于图像匹配的直升机辅助导航定位方法研究 C 第十届中国航空学会青年科技论坛论文集,南昌，2022：187191.3 杨国栋.基于无人机平台的异常事件检测系统方法与实现 D.杭州：杭州电子科技大学.4 HAYS J，EFROS A A.IM2GPS：estimating geographic information from a single imageCProceedings of the 2008 IEEE Conference on ComputerVision and Pattern Recognition，Anchorage，AK，USA，2008：18.5 CRANDALL D J，BACKSTROM L，HUTTEN 43现代计算机2023年LOCHER D，et al.Mapping the worlds photosCProceedings of the 18th International Conference on World Wide Web，New York，NY，USA，2009：761770.6 LIN T Y，BELONGIE S，HAYS J.Crossview imagegeolocalizationCProceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Portland，OR，USA，2013：891898.7 LIN T Y，CUI Y，BELONGIE S，et al.Learningdeep representations for groundtoaerial geolocalizationCProceedings of the IEEE Conference onComputer Vision and Pattern Recognition，Boston，MA，USA，2015：50075015.8 LIU L，LI H.Lending orientation to neural networksfor crossview geolocalizationCProceedings ofthe IEEE/CVF Conference on Computer Vision andPattern Recognition，Long Beach，CA，USA，2019：56245633.9 HU S，FENG M，NGUYEN R M H，et al.CVMNet：crossview matching network for imagebased groundtoaerial geolocalizationCProceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Salt Lake City，UT，USA，2018：72587267.10 ARANDJELOVIC R，GRONAT P，TORII A，etal.NetVLAD：CNN architecture for weakly supervised place recognition C Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，Las Vegas，NV，USA，2016：52975307.11 ZHENG Z，WEI Y，YANG Y.University1652：amultiview multisource benchmark for dronebasedgeolocalizationCProceedings of the 28th ACMInternational Conference on Multimedia，Seattle，WA，USA，2020：13951403.12 WANG T，ZHENG Z，YAN C，et al.Each part matters：local patterns facilitate crossview geolocalizationJ.IEEE Transactions on Circuits and Systems forVideo Technology，2021，32（2）：867879.13 薛朝辉，周逸飏，强永刚，等.融合NetVLAD和全连接层的三元神经网络交叉视角场景图像定位 J.遥感学报，2021，25（5）：10951107.14 ZHENG Z，ZHENG L，GARRETT M，et al.Dualpath convolutional imagetext embeddings withinstance lossJ.ACM Transactions on MultimediaComputing，Communications，andApplications（TOMM），2020，16（2）：123.15 HE K，ZHANG X，REN S，et al.Deep residuallearning for image recognitionCProceedings ofthe IEEE Conference on Computer Vision and PatternRecognition，LasVegas，NV，USA，2016：770778.Research on crossview target location based on segmental combinationfeature dimension reductionLiu Lin,Zhao Huaqi*（School of Information and Electronics Technology,Jiamusi University,Jiamusi 154007,China）Abstract:In order to improve the accuracy of crossperspective target positioning,a cross-perspective target localizationmethod based on segmented feature reduction based on segmented combination feature reduction is proposed.Firstly,ResNet-50 isused as the backbone network,and the instance loss function is selected,which improves the performance of target positioning.Secondly,in order to remove the redundant information of the extracted features,a segmented combined dimensionality reductionscheme is proposed to reduce the dimensionality of the global features of the image,retain the main information of the features andreduce the feature dimension,thereby improving the efficiency of target positioning.Verified on the University1652 dataset,experiments show that compared with the feature matching before dimensionality reduction,the AP and Recall1 are improved by 1.08times and 1.1 times,respectively,which can effectively improve the positioning accuracy.Keywords:target positioning;feature extraction;feature dimensionality reduction;cross perspective 44