基于视觉特征与对抗学习的大五人格评估方法_冯宇.pdf
《基于视觉特征与对抗学习的大五人格评估方法_冯宇.pdf》由会员分享,可在线阅读,更多相关《基于视觉特征与对抗学习的大五人格评估方法_冯宇.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 51 卷收稿日期:2022年8月3日,修回日期:2022年9月5日基金项目:国家自然科学基金项目(编号:72188101);安徽省自然科学基金面上项目(编号:2108085MH303)资助。作者简介:冯宇,男,硕士,研究方向:视线估计,情感计算。孙晓,男,博士,教授,研究方向:计算机视觉,情感计算。杨飞,男,博士,副教授,研究方向:数据挖掘,移动医疗。邵磊,男,研究员,研究方向:微表情,犯罪心理。汪萌,男,博士,教授,研究方向:多媒体信息处理,模式识别。基于视觉特征与对抗学习的大五人格评估方法冯宇1孙晓2,3杨飞1邵磊4汪萌1,2(1.安徽医科大学生物医学工程学院合肥230009)(2.合
2、肥综合性国家科学中心人工智能研究院合肥230088)(3.合肥工业大学计算机与信息学院合肥230009)(4.陕西警官职业学院西安710021)摘要由于传统的依托于人格量表的大五人格评估方法效率极低,而现有的基于多模态的人格评估方法在实用中很难满足多通道的高质量输入需求。针对这种情况,提出了一种基于纯粹的视觉特征的人格评估方法,并与对抗学习相结合,通过一个人日常生活中的视频,获取其大五人格的定量评估。首先,通过对视频图片帧进行建模,并结合对抗学习的思想,使特征提取器尽力提取与性别无关,而与人格有关的特征。其次,利用多粗细粒度损失结构的注视估计模型,获取人物注视分布及其视线序列特征,最后对提取的
3、所有视觉特征进行融合,并对其大五人格进行预测。实验结果表明,该方法的平均预测精度为91.96%,在ECCV 2016年人格挑战数据集中名列前茅,并且超过了此前所有的基于视觉特征的大五人格评估方法。关键词大五人格;对抗学习;视线估计;多级特征融合中图分类号TP391DOI:10.3969/j.issn.1672-9722.2023.03.014Big Five Personality Assessment Method Based on Visual Featuresand Adversarial LearningFENG Yu1SUN Xiao2,3YANG Fei1SHAO Lei4WANG
4、 Meng1,2(1.School of Biomedical Engineering,Anhui Medical University,Heifei230009)(2.Institute of Artificial Intelligence,Hefei Comprehensive National Science Center,Heifei230088)(3.School of Computer Science and Information Engineering,Hefei University of Technology,Heifei230009)(4.Shaanxi Police C
5、ollege,Xian710021)AbstractDue to the low efficiency of the traditional big five personality assessment method based on personality scale,theexisting personality assessment method based on multimodality is difficult to meet the demand of multi-channel high-quality inputin practice.In view of this sit
6、uation,a personality assessment method based on pure visual features is proposed,which is combinedwith adversarial learning to obtain the quantitative assessment of a persons major five personality through the video in his daily life.First,by modeling video frames and combining the idea of adversari
7、al learning,the feature extractor tries its best to extract featuresthat are not related to gender but related to personality.Secondly,the gaze estimation model with multi coarse and fine grain lossstructure is used to obtain the gaze distribution and gaze sequence features of the characters.Finally
8、,all the extracted visual features are fused and their major five personalities are predicted.The experimental results show that the average prediction accuracy ofthis method is 91.96%,which is among the best in the ECCV personality challenge data set in 2016,and exceeds all previous bigfive persona
9、lity assessment methods based on visual features.Key Wordsbig five personality,confrontation learning,gaze estimation,multi-feature fusionClass NumberTP3911引言人格是指个体在对人、对事、对己等方面的社会适应中行为上的内部倾向性和心理特征的总和,其描述的是一种稳定的心理状态,而非情绪那般在短时间内可不断变化。而对人格的研究,其应用领总第 401 期2023 年第 3 期计算机与数字工程Computer&Digital EngineeringV
10、ol.51 No.36122023 年第 3 期计算机与数字工程域非常广泛,在个人就业以及人力资源领域,人格测试可以帮助我们认清自己的真实人格特点,以选择最适合自己的岗位进行就业,而从企业单位的方面,对求职者的人格测试也有助于确定求职者的人格是否能够胜任相应的职位。而学术界在人格描述模式上,形成了比较一致的共识,即人格的大五模式12,大五人格模型(BFPM)提供了一个更普遍的人格模型,由于其统一的测试,它被广泛应用于临床和健康心理学的研究中。NEO-PI-R3为BFPM提供了一个统一的评估,并包含了100多个问题。而通过这种问卷的方法去评估大五人格,将耗费极大的人力和物力资源,因此希望提出一种
11、更快捷的,基于纯粹的视觉特征的人格评估方法。本文提出了以下贡献:1)将TimeSformer4首次应用在人格预测特征提取领域,并提出了一种基于对抗学习的提取与性别特征无关的方法,以减轻性别因素对于特征提取器提取的特征有效性造成的干扰。2)提出了一种多粗细粒度损失结构的网络框架,以对视线注视方向进行估计,进一步得到注视分布以及视线序列特征,这在人格评估中也发挥了重要作用。2相关工作2.1面部特征在过去的自动人格评估研究中,面部特征和人格评估的相关性已经得到充分证明。Donald F等5通过对面部结构和线索进行分析推断出了部分人格特质,孙晓等6通过对面部非兴趣区域的模型通道剪枝成功预测了大五人格分
12、值,并在基于视觉特征上的方法上取得了0.9165的平均精度,S.Aslan7等通过注意力机制以及误差一致性约束将图像与其他模态的特征融合并加权得到最佳特征组合,获得了0.9172的大五人格平均预测精度。2.2视线估计及眼动相关特征近些年的许多实验研究表明,从视线估计以及眼动追踪数据中可以自动推断出个性特征信息。例如,Sabrina Hoppe等8利用眼动仪采集大学生日常校园生活中的眼动数据,随后使用完善的调查问卷评估了他们的人格特质,使用随机森林训练人格分类器,并可靠地预测了大五人格中的四个,但受制于样本规模太小,而导致无法选用更高级可靠的预测分类模型;Lepri等9利用在小组会议中记录众人的
13、行为,并与视线注意力结合,建立了外向性人格预测模型。John F等10的研究也表明了凝视行为拥有着可以与人格特质联系起来的个体差异,特别是神经质性、外倾性、开放性与眼球运动的参数有着密切关系。2.3我们的工作考虑到自动人格评估的复杂性,需要一种有效的方法通过从视频中挖掘更多的有用信息来提高模型的性能。除了原始的图片帧外,本文单独对面部部分进一步地提取特征,并使用基于TranSformer11的视频理解框架TimeSformer4,对视频应用分开的时空注意力机制来提取其时空特征,此外提出了一种基于对抗学习12的提取性别特征无关的方法,对特征提取器进一步加以约束,以减轻性别因素对于特征提取器提取的
14、特征有效性造成的干扰。除了上述传统的面部特征外,视线估计与眼动也是人格评估的一种重要特征,但此前眼动仪信息采集的低效率限制了视线估计的应用,对此本文提出了一种多粗细粒度损失结构的网络框架,以对视线注视方向进行估计,进一步得到注视分布以及视线序列特征。然后,将这两种人格模型融合,得到了一种高效率、高准确率的基于纯粹视觉特征的大五人格预测模型。3视线特征提取模块3.1多粗细粒度损失结构的注视估计模型心理学界已有大量研究证实了人格和眼睛行为之间存在联系1314。然而,由于眼动仪的高成本,使用眼动仪获取大量人格数据集的代价巨大。本文采用基于深度学习的视线估计方法,来获得被试者相对于相机坐标系的视线注视
15、方向,由此进一步得到注视分布热力图以及视线的序列特征。本文使用视线估计公共数据集MPIIFaceGaze 15 来训练注视方向估计的模型,这是注视估计领域的权威数据集之一,数据集中有15位志愿者,每位志愿者3000份样本,每份样本皆包括图片以及注视方向的标签等信息。基于该数据集,本文提出了一种多级粗细粒度损失结构的网络框架,以对视线注视方向进行预测,模型中的Backbone采用resnet50,每张输入图像经过 Backbone得到提取出的特征,并分别连接不同FC层,每个FC层拥有不同的分类尺度,分别计算自己的交叉熵损失,FC层将输入特征映射到不同粗细粒度的角度区间后,通过 Softmax 得
16、到归一化特征,并分两支,一方面计算MSELoss,另一方面计算交叉熵损失,而后求和,得到最终的损失。视线注视方向估计模型的结构图如图1所示。613第 51 卷BackboneNetwork281463FCFCFCFCSoftmaxSoftmaxSoftmaxSoftmaxExpectationCE LossCE LossCE LossCE LossYaw/PitchMSELossTotal Yaw/PitchError图1多粗细粒度损失结构的视线注视估计模型这里的多粗细分类结构可以看作是一种参数共享,每个分支都是相关的分类任务,这种结构有助于减少过拟合的风险,此外在粗细分类网络上还可以避免出现
17、极端情况下的错误概率,使预测结果更加稳定,这种粗细粒度的分类网络可以很容易地添加到以前的框架中,在不需要额外计算资源的情况下提高性能,每个角度的最终损失计算公式如式(1)所示:Loss=*MSE(y,y*)+i=1num*H(yi,yi*)(1)式中,为回归系数,y为视线注视角的真实值,y*为注视角的模型预测值,Loss为综合损失。3.2注视分布热力图与注视序列特征采用上述模型获取视频每一帧图像的注视方向后,进一步得到体现视线空间统计特征的注视分布热力图,为了使视线分布热力图在人格预测模型的输入中遵循一致的分布,在距离视频中的人物1m远的平面上确定一组点的注视分布,结合视线估计模型输出的两个视
18、线注视角Pitch、Yaw,计算出视线在此平面上的注视点坐标,并使用注视点坐标附近的80邻域填充,以确保获得224*224的非稀疏矩阵。视线的注视分布热力图体现了视频的总体空间统计特征,但对视频来说,其时域特征同样重要,为了抽象出有效的时间维度信息,本文选取了视线注视俯仰角 Pitch、偏转角 Yaw、头部姿态俯仰角Pitch、偏转角Yaw以及翻滚角Roll,加上头部中心点在画面的坐标位置信息,对每一帧图像皆提取这7维特征作为视线时域模型的输入。图2(a)为80邻域填充示意图,图2(b)、(c)展示了体现注视空间分布特征的注视分布热力图,图2(d)为体现时域特征的视线序列结构特征图。(a)(b
19、)(c)注视俯仰角Pitch注视偏转角Yaw头视偏转角Yaw头视俯仰角Pitch头视翻滚角Roll头视中心坐标X头视中心坐标Y共459帧注视俯仰角Pitch注视偏转角Yaw头视偏转角Yaw头视俯仰角Pitch头视翻滚角Roll头视中心坐标X头视中心坐标Y(d)图2注视分布热力图与注视序列特征示意图4结合对抗学习的性别无关人脸模块由于面部特征的性别二态性,以及某些人格特征(特别是外向性)1617对不同性别的表现差异很大,大五人格的面部预测模型应该针对男性和女性的面孔分别进行训练和验证,而事实上,此前的众多大五人格预测模型中,少有特别考虑到性别对人格预测结果的影响,我们猜测,这是因为针对性别的特别
20、训练和验证将会导致训练集样本量剧减,这对于本就难以大量获得的人格评估样本来说,显得难以接受,但也导致那些在特征空间中相差不大的特征,伴随着性别的差异,对大五人格模型预测的结果也会产生负面的影响。在这种情况下,受郑壮强等18通过引入个体身份判别器进而提取与身份无关的面部特征的原理启发,我们设计并提出了性别判别器,通过特征提取器与性别判别器之间的对抗训练,使特征提取器可以提取与性别无关的面部特征表示。其结构分为特征提取器F,性别判别器GD和人格预测器P三个部分,F从输入图像中提取面部特征,GD本质是个性别分类器,通过F和GD之间的对抗训练以及F和P之间的联合训练,提取性别无关的面部特征。以下用T=
21、x,yN表示N个训练样本,其中x表示输入图像,y=y1,y2,y3,y4,y5冯宇等:基于视觉特征与对抗学习的大五人格评估方法6142023 年第 3 期计算机与数字工程表示真实的标签,s0,1表示性别的类别,P*(s|F(x)是模型定义的给定特征F(x)下s的分布,P(s)是s的边缘分布。TimeSformerTimeSformerFCFCFCFC性别Softmax性别判别器GD人格预测器PPersonalityVideo特征提取器F图3基于TimeSformer和对抗学习的大五人格预测模型4.1特征提取器在综合了训练开销以及性能之后,本文选择了TimeSformer作为特征提取器,相比于3
22、D卷积神经网络,其训练速度快,推理时间大幅度缩短。每个视频均采用稀疏随机采样8帧作为视频理解模型的输入,且考虑到人脸部分对人格预测的重要性,使用Arcsoft的人脸检测模块单独截取面部图片,并同样采样8帧作为并行的模型输入。4.2性别判别器性别判别器GD在模型中起到优化特征提取的作用,它的本质是一个性别分类器,当性别分类器的分类结果与全部个体的性别边缘分布一致时,可以认为当前面部特征表示与性别标签无明显相关性。优化特征提取器F的参数时,需要固定性别判别器GD,尽可能减小提取的面部特征与性别标签之间的相关性,即最小化P(s)和P*(s|F(x)之间的差异,由于P(s)无法直接得到,可以使用训练集
23、中性别的经验分布PE(x)来代替P(s),因此可以得到特征提取器的交叉熵损失如下式,si指第i个样本的性别标签。LossF=-1Ni=1Nk=1CPE(s=k)logP*(si=k|F(xi)(2)优化性别判别器GD的参数时,需要固定特征提取器F的参数,并希望GD可以尽可能发现提取的特征与性别标签之间的相关性,即最小化P*(s|F(x)和P(s|F(x)之间的差异,其中P(s|F(x)是给定特征F(x)的条件下个体性别标签的one-hot类型的分布。由此可以得到性别判别器的损失:LossD=-1Ni=1Nk=1CP(si=k)logP(si=k|F(xi)(3)4.3联合训练过程在获得了特征提
24、取器提取的面部特征后,利用由两个线性层组成的人格预测器进行大五人格回归任务,并使用均方差损失计算得到人格回归任务的损失LossP,再与特征提取器的损失,即式(2)所示LossF合并为L=LossP+LossF,而性别判别器的损失即式(3)所示LossD,使用小批次的随机梯度下降更新网络权重,通过整个网络的交替训练,使特征提取器逐步获得提取与性别无关的面部特征表示的能力。4.4融合模型最终的大五人格预测模型结构如图4所示,人脸预测模块与视线预测模块得到的特征进行拼接,从而预测得到最终的大五人格分值。VideoPersonalitydim1 dim2dim7dim1 dim2dim7Gaze gr
25、aphModelGaze sequenceModelFaceModel图4多通道的大五人格预测模型5实验5.1数据集与评价指标本文使用ECCV ChaLearn LAP 2016 比赛数据集,这是自动人格评估领域最为重要的权威数据集,其中有10000个标注了大五人格标签的视频,615第 51 卷8000个视频作为训练集和验证集,剩余2000个视频作为测试集,每个视频大约有15s的长度。每个视频的标签由5个范围在 0,1 的连续值组成,分别对应大五人格的五种特质,而对人格预测任务的评估,则需要计算所有特质的平均预测精度,每种特质的预测精度定义如下:A=1-1Nti=1Nt|ti-pii=1Nt|
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 视觉 特征 对抗 学习 人格 评估 方法 冯宇
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。