基于相机感知距离矩阵的无监督行人重识别.pdf
《基于相机感知距离矩阵的无监督行人重识别.pdf》由会员分享,可在线阅读,更多相关《基于相机感知距离矩阵的无监督行人重识别.pdf(10页珍藏版)》请在咨信网上搜索。
1、ISSN 10049037,CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38,No.5,Sep.2023,pp.1069-1078DOI:10.16337/j.10049037.2023.05.006 2023 by Journal of Data Acquisition and Processinghttp:/Email:sjcj Tel/Fax:+8602584892742基于相机感知距离矩阵的无监督行人重识别白梦林,周非,舒浩峰(重庆邮电大学通信与信息工程学院,重庆 400065)摘要:在跨场景、跨设备的行人重识别
2、中虽然增加了可利用的行人数据,但由于行人姿态不同、部分遮挡现象,难以避免引入样本噪声,在聚类过程中易生成错误的伪标签,造成标签噪声,影响模型的优化。为减弱噪声影响,应用相机感知的距离矩阵对抗相机偏移引起的样本噪声问题,利用对噪声鲁棒的动态对称对比损失减少标签噪声,提出基于相机感知距离矩阵的无监督行人重识别算法。在聚类前通过更改度量行人特征相似度的距离矩阵,利用相机感知距离矩阵来增强类内距离度量准确性,减少由于拍摄视角不同对聚类效果造成的负面影响。同时,结合噪声标签学习方法,进行损失设计,提出动态对称对比损失函数,联合损失训练,不断精炼伪标签。在 DukeMTMCreID 和 Market150
3、1两个数据集上进行实验,验证了提出方法的有效性。关键词:无监督行人重识别;聚类;距离矩阵;标签噪声;损失函数中图分类号:TP391 文献标志码:AUnsupervised Person Reidentification Based on CameraAware Distance MatrixBAI Menglin,ZHOU Fei,SHU Haofeng(School of Communication and Information Engineering,Chongqing University of Posts and Telecommunications,Chongqing 400065
4、,China)Abstract:Crossscene and cross-device shooting greatly increases the data of pedestrians.However,due to the different postures and partial occlusion of pedestrians,it is difficult to avoid the introduction of sample noise.During the clustering process,it is easy to generate false pseudo-labels
5、,resulting in label noise and affecting the optimization of the model.In order to reduce the influence of noise,the camera-aware distance matrix is applied to combat the sample noise problem caused by camera offset,and the noise-robust dynamic symmetric contrast loss is used to reduce label noise.Sp
6、ecifically,the distance matrix that measures the similarity of pedestrian features is changed before clustering,and the camera-aware distance matrix is used to enhance the accuracy of the intra-class distance measurement,reducing the negative impact of different perspectives on the clustering effect
7、.Combined with the noise label learning method,a robust loss is designed,a dynamic symmetric contrast loss function is proposed,and a joint loss training is used to continuously refine the pseudo-labels.Experiments are carried out on DukeMTMC-reID and Market-1501 datasets to verify the effectiveness
8、 of the proposed method.Key words:unsupervised person re-identification;clustering;distance matrix;labels noise;loss function基金项目:国家自然科学基金(61901071)。收稿日期:20220512;修订日期:20220907数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023引 言 行人重识别技术13主要针对非重叠视域的跨场景下行人的识别和检索,很好地弥补了跨设备、跨域时特定行人检索困难
9、、人工耗时长等问题,在安防、刑事侦查等领域得到应用。目前有标注数据的重识别(Reidentification,ReID)发展迅速45,但需要不断地标注新的数据,更新模型使之保持较高的检索精度。不断增长的视频监控需求和昂贵的标注成本极大地限制了其应用。因此,越来越多的研究开始关注不需要大量标注数据的无监督行人重识别6。目前的无监督行人重识别任务主要包含两种形式:第一种形式为域适应方法,在具有标注信息的源域数据集上预训练,进行模型的初始训练,再在具有大量无标注数据的目标域上对模型微调。第二种形式的实验设置更为严格,在没有任何标记数据的情况下,直接用在 ImageNet上预训练好的模型来训练 ReI
10、D 模型,这是基于聚类的完全无监督学习,通过挖掘特征相似性来估计每个实例的标签,在聚类中为每个样本分配伪标签。本文主要研究学习完全无监督行人重识别任务,目的为利用无标注的数据优化 ReID 模型,提升模型在新场景下的泛化能力。因其实验设置为全程利用无标注的数据,更具有挑战性。而无标注的数据在使用时也面临着噪声问题。行人重识别数据集中的图片拍摄自不同相机,比如 Market1501 数据集中的图片拍摄自 6个不同的相机。如图 1所示,不同相机拍摄的视角、场景不同,行人外观呈现很大差异,甚至存在严重遮挡现象,引起样本噪声,难以对有效特征进行度量,对网络训练造成干扰,因此需要考虑相机偏移给样本造成的
11、影响。同时,这些含有噪声的样本在聚类过程中,由于缺乏对行人特征的准确描述,可能会被分配错误的伪标签,即不能保证将同一行人的样本分配相同的身份标签。错误的伪标签在聚类后的集群中成为标签噪声,影响模型的优化,这对于完全无监督任务来说是一个挑战。针对上述样本噪声和标签噪声的问题,本文提出一种基于相机感知距离矩阵的无监督行人重识别算法。主要工作如下:使用基于聚类的主体框架,将距离度量的结果作为样本相似度,在聚类前的距离度量中考虑减少相机偏差造成的样本噪声影响,应用相机感知距离矩阵,提高对有效特征度量的准确性;结合自监督对比学习和基于伪标签的无监督行人重识别策略,将噪声标签学习应用于无监督行人重识别任务
12、,并进行损失设计来提高模型的抗噪鲁棒性。在不同数据集上的实验结果表明本文方法能够提升无监督行人重识别的模型性能。1 相关工作 在近期的无监督行人重识别任务中,文献 7 提出混合记忆存储库单元,使用对比损失进行训练并不断更新存储库单元。分组抽样8的方法将属于同一类的样本分组进行训练,利用类的整体趋势来减弱单个样本的影响。文献 9 通过相机到相机风格转移来对齐目标样本的相机位移。文献 10 将样本相似度计算分为两个阶段,利用伪标签计算相机内的样本相似度和跨相机的样本相似度计算。文献11 通过考虑相机标签构建代理级内存。这些方法适合具有多个相机的数据集,并考虑了相机对重识别任务的影响,极大地优化了模
13、型的性能。与上述方法不同,本文改进行人相似度度量的距离矩阵,利用相机感知距离矩阵来降低跨相机拍摄的影响。目前在无监督任务中利用聚类的方法生成伪标签是比较流行的方式,在网络训练过程中,标签噪声中的信息会对网络性能带来干扰。噪声标签学习(Learning with noisy labels,LNL)能够对标签噪声图 1同一行人的跨相机样本Fig.1Crosscamera samples of the same pedestrian1070白梦林 等:基于相机感知距离矩阵的无监督行人重识别样本进行合理的训练避免标签噪声的干扰。在无监督任务中应用噪声标签学习,避免噪声对网络模型的训练造成干扰是近年来的
14、一个热门话题。目前关于噪声标签学习的研究主要可以分为样本重新加权方法1213、标签校正方法1415和损失设计方法1618。样本重新加权方法旨在训练过程中为干净的样本分配更高的权重,文献 12 提出了一种元学习的方法来对损失进行重加权,让神经网络“学习”如何给不同的损失进行重加权,元测试集中需要有额外干净数据,这在现实世界的应用程序中可能不可用。标签校正方法尝试在训练期间识别噪声样本并校正它们的标签,需要额外干净数据的支持或昂贵的检测过程来估计噪声模型。文献 16 提出了一种理论来检查损失函数的鲁棒性,文献 17 提出了一种对称交叉熵损失。由于完全无监督行人重识别任务中没有理想状态下干净的数据,
15、因此本文采用损失设计来达到减少嘈杂伪标签的目的。2 本文算法 目前,无监督行人重识别的经典解决方案是类自步的算法,如图 2 所示。首先,对无标注信息的图片提取特征并利用聚类算法生成伪标签,即对每个样本生成类标签,再利用生成的伪标签微调原始模型,对微调后的模型继续通过聚类算法生成伪标签,这样反复迭代并持续一段时间,提升伪标签生成的准确度,ReID 模型的检索精度。由于每一次聚类后的簇的数量和伪标签数量都会变化,图 2所示的经典无监督行人重识别的方法依然面对标签噪声难以优化的挑战,而目前大多数现有的噪声标签学习方法不能直接应用于无监督行人重识别的场景。本文考虑到无监督任务中噪声对精炼伪标签的影响,
16、提出了基于相机感知距离矩阵的无监督行人重识别算法。2.1整体框架本文算法的整体框架如图 3所示。首先,考虑相机位移影响,由相机感知距离矩阵计算实例对之间的特征相似度,通过伪标签生成器进行基于密度的聚类,初始化存放实例特征存储单元,这里采用的聚类方法为具有噪声的基于密度的聚类方法(Densitybased spatial clustering of applications with noise,DBSCAN)19。其次,在每次迭代中,利用编码器对小批量样本进行特征编码,分别计算输入和特征存储单元的联合损失。最后,反向传播更新编码器模型并利用编码的特征以动量更新的方式更新特征存储单元。2.2相机
17、感知距离矩阵由于行人重识别的数据集为跨场景拍摄,不同相机拍摄的图像呈现不同的分布,具体表现为视角或光照差异引起的不同。由于拍摄角度的不同,行人存在外观差距,同时可能遮挡行人的明显特征,对特征相似度的排序以及聚类准确度造成很大干扰。在无监督行人重识别任务中的每一轮聚类算法前,对需要识别图片进行距离度量,再进行聚类,以生成伪标签。目前最常用的距离度量矩阵为 k倒排最近邻的检索重排序方法20,将杰卡德距离与马氏图 2无监督行人重识别系统Fig.2Unsupervised person reidentification system图 3本文方法的整体框架Fig.3Overall architectu
18、re of the proposed method1071数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023距离结合。针对上述相机移位造成干扰的问题,本文在计算距离矩阵和生成伪标签时,通过考虑视角不同造成的样本差异进行改进,尽量缩小相机拍摄视角因素造成的影响,进行具有相机感知的聚类。首先设置一个反映不同相机域之间(或一个域内)的图像差异的相机域偏移矩阵Dc Nc Nc,其中Nc表示相机的数量。然后,在每次迭代中,矩阵Dc由属于相应相机域的实例对的平均相似度计算。最后,通过原始距离矩阵D N N,其中 N 为实例
19、类别数,和偏移矩阵Dc计算相机感知距离矩阵D,尝试从D减少相机域偏移Dc。在D中,实例之间的距离会更好地反映不同行人之间的差异。原始距离矩阵D N N用于计算实例特征之间的相似度,Di,j表示第i个实例和第j个实例之间的相似度。由于行人样本的数量远大于相机域的数量,因此可以预期,每个相机对间的相似度的平均值可以隐式地由相应的域间或域内条件(或受相机标签影响的相似度)引起的样本差异表示。相机域偏移矩阵Dc中相机偏移距离计算如下Dci,j=1Nic Njci=1Nicj=1NjcDu,v|cu=i,cv=j(1)式中:u、v表示实例;cu、cv表示第 u个实例和第 v个实例的相机标签;Nic表示相
20、机i捕获的实例数量。i=j时,偏移距离Dci,j表示相机内的相似度值,值越大表示域相似度越大,域内(同一相机标签)的值应该最大。相机感知距离矩阵D由原始距离矩阵D和偏移矩阵Dc计算得到Du,v=Du,v-Dccu,cv(2)式中为控制相机因素影响的参数。对于相机因素影响显着的数据集,相应地设置得更大。最终求得实例间的新的距离为由相机感知距离与文献 20 中的杰卡徳距离的加权距离和,如图 4所示,图中 xp,x1,x2,xN为外观特征向量,vp,v1,v2,vN为 k倒排特征向量。对新的距离矩阵的每一行应用 softmax进行归一化,实例之间的距离即为相对距离,表示考虑相机偏移因素后的实例间的相
21、似度。在无监督行人重识别任务中,通过使用相机感知距离矩阵(Cameraaware distance matrix,CADM)来进行具有相机感知的聚类,考虑了每个相机内和相机间的实例对,减少了来自不同相机域的距离偏差对样本造成的影响,有助于减少拍摄视角不同引起行人样本差异在聚类过程中生成的错误伪标签,且有助于减少标签噪声,更利于模型后续优化。2.3动态对称对比损失对于无监督行人重识别任务来说,因其样本非理想状态中干净的数据,本文采用损失设计的方法来提升模型的抗噪鲁棒性。在无监督任务中,由于每一次聚类后类别数量发生变化,难以利用噪声标签学习中的方法,本文采用文献 4 中提出的利用特征存储单元以及具
22、有对比损失的特征编码器的自步对比学习方法来解决类别数量不固定的问题。给定没有任何真实标签的训练样本集X=x1,x2,xn-1,目标是通过使用特征嵌入函数v=f(x),x X,获得特征集V=v1,v2,vn-1。采用伪标签生成器将特征集划分为簇集C和离群集O,簇集包含 K 个簇,其中每个簇至少包含两个样本,离群集包含单独的样本。为每个实例分配一个伪标签以构建对比损失,即图 4相机感知距离的应用Fig.4Application of cameraaware distance1072白梦林 等:基于相机感知距离矩阵的无监督行人重识别LUCL=-lnexp()/k=1ncexp()/+k=1noexp
23、()/(3)式中:ck表示簇质心;ok表示离群点实例特征;z+表示v对应的正样本类别原型;温度根据经验设置为 0.05;表示两个特征向量的内积,衡量它们的相似性;nc为聚类集群的数量,no为离群点实例的数量,它们的和为N。优化具有对比损失的编码器并动态更新具有编码特征的存储单元,其中更新公式定义为M x m M x+(1-m)f(x)(4)式中:M为特征存储单元;m 0,1 为存储单元中更新样本特征的动量系数,经验设置为 0.2。在运用了特征存储单元、解决了无监督任务中类别数目不断变化问题的基础上,本文考虑噪声优化问题。文献 17 提出一个理论来判定损失函数是否对噪声鲁棒,即k=1NL(f,k
24、)=Z(5)式中:f表示样本;N为类别总数;Z为常数;k为类别数。式(5)表明,对于任何样本f和损失函数L,如果损失函数L是对噪声鲁棒的,则将f分类到所有类别(即 1N)的损失之和应该是一个常数。本文根据式(5)的理论,专门为无监督行人重识别任务设计一个对噪声鲁棒的损失,提出动态对称对比损失函数(Dynamic symmetric contrastive loss,DSCL)为LDSCL=soft maxlnexp()/k=1ncexp()/+k=1noexp()/lnsoft max(yi)(6)式中yi RN 1表示第i个样本伪身份的 onehot向量。式(6)的动态对称对比损失函数结合了
25、式(3)的对比损失函数,并满足式(5)的对称性理论。下面证明 DSCL损失满足式(5)。定义将f分配给i类的概率为pi且i=1Npi=1,经过 softmax归一化后的y的第i个元素为yi,则yi为yi=1N-1+eyi=0eN-1+eyi=1(7)式(6)可以重新表述为LDSCL=-i=1Npilnyi(8)当类标签为第 k类时,即yk=1时,式(8)可以表述为LDSCL(f,k)=-pklnyk-i kNpilnyi(9)为了方便,定义式(7)中yi=0时,yi记为 P,又由于i kNpi=1-pk,代入式(9),其化简为LDSCL(f,k)=-pkln(eP)-lnPi=kNpi=-pk
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 相机 感知 距离 矩阵 监督 行人 识别
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。