基于不确定相似性度量学习的三维模型草图检索.pdf
《基于不确定相似性度量学习的三维模型草图检索.pdf》由会员分享,可在线阅读,更多相关《基于不确定相似性度量学习的三维模型草图检索.pdf(10页珍藏版)》请在咨信网上搜索。
1、收稿日期:2 0 2 2 1 1 0 3基金项目:国家留学基金委资助项目(2 0 1 9 0 8 2 1 0 3 9 8)。作者简介:梁 迪(1 9 7 1),女,辽宁沈阳人,副教授,博士。第3 5卷 第5期2 0 2 3年 1 0月沈阳大学学报(自然科学版)J o u r n a l o fS h e n y a n gU n i v e r s i t y(N a t u r a lS c i e n c e)V o l.3 5,N o.5O c t.2023文章编号:2 0 9 5-5 4 5 6(2 0 2 3)0 5-0 4 0 6-1 0基于不确定相似性度量学习的三维模型草图检索梁
2、 迪,卢列兆(沈阳大学 机械工程学院,沈阳 1 1 0 0 4 4)摘 要:对于把手绘图像以及三维模型同时映射到一个联合特征嵌入空间和草图噪声给检索性能带来的影响,分析了跨模态匹配和草图噪声。将师生策略和数据不确定学习相结合,构建了一种基于不确定相似性度量学习的三维模型草图检索方法(u n c e r t a i n t ys i m i l a r i t ym e t r i c l e a r n i n g,U S ML)。首先利用基于师生策略的三维形状语义相似度度量学习方法代替现有的跨域共享特征嵌入方法以提升检索的效率;然后,受数据不确定学习的启发,采用不确定学习来解决草图中噪声导致
3、的严重过拟合并损害特征学习的问题。在大型公开基准数据集S HR E C 1 3和S HR E C 1 4上的实验结果验证了方法的有效性。结果表明,与深度点到子空间度量学习(d e p t hp o i n tt os u b s p a c em e t r i cl e a r n i n g,D P S ML)、深 度 相关 度量 学 习(d e e pc o r r e l a t i o n m e t r i cl e a r n i n g,D CML)及深度相关整体度量学习(d e e pc o r r e l a t i o nh o l i s t i cm e t r i
4、c l e a r n i n g,D CHML)等未考虑噪声影响的算法相比,U S ML对基于抗噪草图的三维形状检索的效率提升至关重要。关 键 词:三维模型检索;基于草图的检索;师生策略;数据不确定;度量学习中图分类号:T P 3 9 1.4 1 文献标志码:AU n c e r t a i n S i m i l a r i t y M e t r i c L e a r n i n gf o rS k e t c h-B a s e d 3 DM o d e lR e t r i e v a lL I ANGD i,L UL i e z h a o(C o l l e g eo fM e
5、 c h a n i c a lE n g i n e e r i n g,S h e n y a n gU n i v e r s i t y,S h e n y a n g1 1 0 0 4 4,C h i n a)A b s t r a c t:C r o s s-m o d a lm a t c h i n ga n ds k e t c hn o i s ew e r ea n a l y z e df o rt h ee f f e c to fm a p p i n gb o t hh a n d-d r a w n i m a g e s a n d3 Dm o d e l s
6、 i n t oa j o i n t f e a t u r e e m b e d d i n gs p a c e a n ds k e t c hn o i s eo nr e t r i e v a l p e r f o r m a n c e.C o m b i n i n g t e a c h e r-s t u d e n t s t r a t e g ya n dd a t au n c e r t a i n t y l e a r n i n g,a3 D m o d e ls k e t c hr e t r i e v a lm e t h o db a s e
7、 do nu n c e r t a i ns i m i l a r i t ym e t r i cl e a r n i n g(U S ML)w a sc o n s t r u c t e d.T h e 3 Ds h a p e s e m a n t i c s i m i l a r i t ym e t r i c l e a r n i n gm e t h o db a s e do n t e a c h e r-s t u d e n ts t r a t e g yw a su s e dt or e p l a c et h ee x i s t i n gc r
8、 o s s-d o m a i ns h a r e df e a t u r ee m b e d d i n gm e t h o dt oi m p r o v er e t r i e v a le f f i c i e n c y.I n s p i r e db yd a t au n c e r t a i n t yl e a r n i n g,u n c e r t a i n t yl e a r n i n gw a se m p l o y e dt oa d d r e s st h ep r o b l e m o fs e v e r eo v e r f
9、i t t i n gc a u s e db yn o i s ei ns k e t c h e s a n d i m p a i r i n g f e a t u r e l e a r n i n g.E x p e r i m e n t a l r e s u l t s o n l a r g e-s c a l e p u b l i cb e n c h m a r kd a t a s e t sS HR E C 1 3a n dS HR E C 1 4v a l i d a t e d t h e e f f e c t i v e n e s so f t h em
10、 e t h o d.T h er e s u l t ss h o wt h a t,c o m p a r e dw i t ha l g o r i t h m st h a td on o tc o n s i d e rt h ei n f l u e n c eo fn o i s e,s u c ha sd e e pp o i n t-t o-s u b s p a c em e t r i cl e a r n i n g(D P S ML),d e e pc o r r e l a t e dm e t r i cl e a r n i n g(D CML),a n dd
11、e e pc o r r e l a t e dh o l i s t i cm e t r i c l e a r n i n g(D CHML),t h eU S MLi sc r u c i a l f o rt h ee f f i c i e n c y i m p r o v e m e n to fn o i s e-r e s i s t a n t s k e t c h-b a s e d3 Ds h a p er e t r i e v a l.K e y w o r d s:3 D m o d e lr e t r i e v a l;s k e t c h-b a s
12、 e d r e t r i e v a l;t e a c h e r-s t u d e n t s t r a t e g y;d a t au n c e r t a i n t y;m e t r i c l e a r n i n g三维模型不仅在计算机辅助设计中广泛出现,而且被大量运用到驾驶自动化、医学成像和三维打印等相关的前沿行业。近年来,计算机芯片的性能飞速提升,生成、处理并存储三维模型变得越来越容易,但在众多的三维模型中重复匹配出所需的三维模型很难靠人力实现。研究人员对三维模型的检索技术进行研究,并取得了显著的成就,如何让检索和管理变得越来越高效和便捷成为目前研究的重点1。
13、早期的主流检索对象大多是基于文本的,但是三维模型存在多维度的特点,数据量相比二维图像更为丰富,使用文本作为检索对象概括性差、主观性强,检索效果往往很不理想,而直接使用现有图像和模型检索三维模型克服了这些缺点,因此基于示例的三维模型检索方法逐渐成为主流2。近年来随着触摸板设备快速发展,手绘草图成为了人类与三维模型数据交互更直观、更方便的手段,基于草图的三维模型检索(s k e t c hb a s e dm o d e l r e t r i e v a l,S BMR)越来越受到研究人员的关注,并逐渐成为检索研究社区的热点话题3。三维模型草图检索具有特征域不匹配的特点,草图是在二维空间中表示的
14、,而三维形状是在三维空间中表示的,它们的异构数据结构使得从查询草图中直接检索三维形状变得非常困难。图1给出了一些草图和相应的三维形状的示例,并显示了它们之间的巨大域间隙。因此,许多学者都致力于解决草图和三维模型之间的跨域问题。他们主要以如何缩小草图和三维模型之间域间隙为主研究了三维模型草图检索,但较少考虑草图噪声对三维模型草图检索的影响。噪声源于素描或人的随机性,不同的主体可以以惊人的不同程度的抽象和细节绘制同一个物体,有些图画十分抽象和缺乏细节,三维形状的匹配和检索性能会受到此类噪声数据的极大危害。表1展示了不同程度的噪声对检索性能的影响,对于最差的性能范围(mA P0.0,0.2),草图嘈
15、杂到几乎无法识别,说明检索性能与草图的质量明显相关。因此三维模型草图检索在缩小不同模态之间域间隙的同时,有必要考虑以处理草图噪声为重点构建网络模型,优化三维模型草图检索性能。图1 草图和相应3 D形状的一些示例F i g.1 S o m ee x a m p l e so f s k e t c h e sa n dc o r r e s p o n d i n g3 Ds h a p e s表1 草图噪声对3 D形状检索性能影响的实例(通过m A P测量)T a b l e1 S o m ee x a m p l e so f t h e i m p a c t o f s k e t c
16、hn o i s eo n3 ds h a p er e t r i e v a l p e r f o r m a n c e(m e a s u r e db ym A P)形状mA P0.8,1.0mA P0.6,0.8mA P0.4,0.6mA P0.2,9.4mA P0.0,0.2闹钟卫星床电脑椅子蛋糕704第5期 梁 迪等:基于不确定相似性度量学习的三维模型草图检索 由于近年来深度卷积神经网络(C NN s)在图像特征提取方面的巨大成功,多数研究都把深度学习和基于草图的三维模型检索相结合,比之前的方法检索精度更高4。选择与本文相关的以往文献,总结对应的研究手段和方法,将目前的研究大
17、致分成前后2个部分。第一部分研究主要将草图和三维形状映射到一个联合特征嵌入空间中,利用共享损失函数度量相似度,从而解决领域差异问题。W a n g等5使用2个投影视图来表征三维形状,并应用暹罗网络来学习草图和三维形状的联合嵌入空间。Z h u等6开发了金字塔跨域神经网络,以减少草图和三维形状之间的跨域差异。为了解决同样的问题,C h e n等7提出了一个交叉模态自适应模型,使用了一种重要性感知度量学习方法。与这些基于投影的方法不同,D a i等8提出了一种深度关联度量学习方法,通过直接提取三维形状的特征来缓解差异。Q i等9利用点网络提取三维形状特征,建立了一种深度跨域语义嵌入模型。C h e
18、 n等1 0提出了一种基于草图的三维形状检索的深度草图形状散列框架,该框架采用了三维形状的随机抽样策略和学习鉴别性二进制码的二进制编码策略。赵旭飞等1 1提出了结合自注意力和哈希正则化约束的特征提取算法,以此提高草图和三维模型视图嵌入特征的聚类性,并建立草图和视图之间统一的特征描述空间。白静等1 2考虑了数据的动态属性提出一种基于时空信息联合嵌入的端到端三维模型草图检索算法,有效解决了有益信息部分丢失的问题。然而,这些检索方法大多有2个操作网络,这导致了较高的计算代价。此外,由于它们直接将特征映射到联合嵌入空间,很难有效地降低领域差异。第二类方法为了解决上述所遇问题通过师生策略来优化网络结构。
19、自H i n t o n等1 3以来,研究表明,一个复杂而强大的教师模型可以指导一个小型学生网络的训练,从而缩短推理时间,提高其泛化能力,这种师生策略在计量学习领域受到了关注。C h e n等1 4提出了深度测量学习中知识转移的交叉样本相似性,并修正了经典的列表级损失,将教师网络和学生网络连接起来。Y u等1 5提出了一种网络提取方法,利用小网络计算图像嵌入,并开发了2种损失函数来沟通教师和学生网络。对于基于草图的三维形状检索,D a i等1 6提出了一种基于师生策略的跨模态指导网络,并利用三维形状的预习特征指导二维草图的特征学习。然而,它们的方法不能有效地最小化类之间的相似性,也不能最大化类
20、内的相似性,同时忽略了草图中的噪声信息,过度拟合会对检索结果产生不利影响。因此,本文提出了不确定语义相似性度量学习网络。对于交叉模态的差异,采用师生策略获取有效的网络来学习草图和三维模型之间的语义相似性,以此来减少计算负担,并使语义特征对齐更加容易。对于有噪声草图损害特征学习的问题,本文基于现有的用分布表示对数据不确定性建模的想法,采用了一种通过简单修改师生策略网络和构建新的损失函数来估计草图不确定性的方法,并且分析了如何通过不确定性学习和自适应加权机制避免过度拟合噪声的示例来改进特征学习,经此减少噪声数据的负面影响。1 本文算法基于语义相似性度量学习网络的三维模型草图检索总体框架如图2所示,
21、它由教师网络和学生网络组成。由于草图是信息有限的抽象简单线条,而三维形状是具有更多细节的真实几何对象,本文选择三维形状作为教师网络的输入,从中提取语义特征,指导以草图为输入的学生网络的训练。1.1 教师网络在教师网络中,本文应用MV C NN架构,包括C NN 1和C NN 2,它们通过一个视图池层连接,来表示三维形状的多视图,并提取语义特征。首先,从1 2个不同的视角,通过每3 0 放置1 2个虚拟摄像机,来呈现一个三维形状。由于渲染图像和草图之间仍然存在很大的差异,采用经典的C a n n y算子来提取渲染图像中与草图线相似的边缘。然后,将边缘图像分别通过C NN 1获得基于视点的特征。注
22、意C NN 1的所有分支都共享相同的参数。为了将所有视图中的信息合成为一个单独的视图,在视图池层中使用跨视图的元素级最大值操作。最后,这些汇集的特征映射通过C NN 2获得形状描述符。在完成对教师网络的训练后,将所有三维形状的数据通过教师网络进行传输,得到预先学习的三维形状语义特征。1.2 学生网络在学生网络中,本文采用了一个转移网络C NN 3来学习草图的语义特征。输入的草图直接通过804沈阳大学学报(自然科学版)第3 5卷C NN 3来获取这些特征。以三维形状预先学习的语义特征为指导,根据优化目标函数即相似性损失进行学生网络训练。图2 语义相似性度量学习网络总体框架F i g.2 O v
23、e r a l l f r a m e w o r ko f s e m a n t i cs i m i l a r i t ym e t r i c l e a r n i n gn e t w o r k1.3 相似损失为了找到期望的三维形状,我们总是希望提取的草图特征更接近于与其同类的三维形状,而与其不同类的三维形状差异较大,即最大化类内相似性和最小化类间相似性。然而,一个查询草图通常有数十个或数百个具有相同类标签的相关三维形状,而且很难区分哪个三维形状与查询草图更相似或更不相似。本文的目标是找到三维形状属于查询草图的类标签,而不是找到最相似的三维形状。因此,将重点放在提取类特征上,而
24、不是提取三维形状的个体特征。类别特征是同一类别中三维形状预先学习特征的平均值。本文使用余弦距离来测量草图和三维形状之间的距离,三维形状定义为s=fsfcfs2fc2。(1)式中:fs是草图特征;fc是三维形状的类特征。在一个大小为N的小批量数据中,有N个草图和Nc个预先训练的三维模型类特征。在这个小批量数据中,对每个草图i,用所有三维形状的类别特征来计算它的余弦距离。本文通过余弦距离sip正对表示草图和同类三维形状的类特征之间的关系,同样的,草图以及其他类特征之间的余弦距离用sin=s1,s2,sNc-1 负对表示。为了最大化正对的相似性得分,最小化负对的相似性得分,将相似性损失函数定义为L=
25、1NNi=1cm a x(sin)-sip+m+。(2)式中:+为斜坡函数;m为正对和负对之间更好相似分离的裕度;c代表预训练特征。从选择sin组中选择最大相似性得分来表示式(2)中的负对的原因是它能够保证负对的分数都小于正对的分数,同时也增 加了学习的 难度。因为优化 式(2)很 困 难 的,所 以 本 文 采 取 平 滑 相 似,用L o g S u m E x p函数代替m a x(sin),用s o f t p l u s函数代替+,然后得到平滑的相似性损失函数Ls m o o t h=1NNi=1l n1+e xp(l nNcn=1,npe x p(k sin)-sip+m。(3)式
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 不确定 相似性 度量 学习 三维 模型 草图 检索
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。