基于卷积注意力网络的网格质量评价方法.pdf
《基于卷积注意力网络的网格质量评价方法.pdf》由会员分享,可在线阅读,更多相关《基于卷积注意力网络的网格质量评价方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、2023年9月第6 0 卷第5期四川大学学报(自然科学版)Journal of Sichuan University(Natural Science Edition)Sep.2023Vol.60No.5基于卷积注意力网络的网格质量评价方法蔡梓豪12,姜屹3,张来平4,邓小刚3(1.四川大学视觉合成图形图像技术国防重点学科实验室,成都6 10 0 6 4;2.四川大学天府工程数值模拟与软件创新中心,成都6 10 0 6 4;3.军事科学院系统工程研究院,北京10 0 0 8 2;4.军事科学院国防科技创新研究院,北京10 0 0 7 1)摘要:将深度卷积神经网络引入网格质量评价问题有望代替网格工
2、程师完成繁杂的网格质量评价工作,节省计算流体力学数值模拟的人力成本,但现有方法的准确率和效率仍需要提高.因此,本文提出一种基于卷积注意力网络的网格质量评价方法.首先,本文提出在轻量级卷积神经网络模型中嵌入通道注意力的方式以同时提升准确率和效率;其次,设计了一个神经网络模型CANet用于网格质量评价任务;最后,通过Z-Score标准化对数据进行预处理,解决输入数据分布不一致的问题,以进一步提升准确率.实验结果表明,与现有方法相比,CANet可以达到更优的准确率97.0 6%,并且在效率上也有至少34.9%的提升。关键词:卷积神经网络;注意力机制;网格质量评价;计算流体力学;数值模拟中图分类号:T
3、P391DOI:10.19907/j.0490-6756.2023.053003A mesh quality evaluation method based on convolutional attention networkCAI Zi-Hao1.2,JIANG Yi,ZHANG Lai-Ping,DENG Xiao-Gang(1.National Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University,Chengdu 610064,China;2.Tianfu Engineering-orie
4、nted Numerical Simulation&Software Innovation Center,Sichuan University,Chengdu 610064,China;4.Institute of Defense Science and Technology Innovation,Academy of Military Sciences,Beijing 100071,China)Abstract:The introduction of deep convolutional neural network into the mesh quality evaluation prob
5、-lem is expected to replace the engineers in completing the complicated mesh quality evaluations,therbysaving the labor cost of computational fluid dynamics numerical simulation.However,the accuracy andefficiency of the existing methods still need improvement.Therefore,a mesh quality evaluation meth
6、odbased on convolutional attention network is proposed in this paper.Firstly,a method of embeddingchannel attention into the lightweight convolutional neural network model is proposed to improve bothaccuracy and efficiency.Secondly,a neural network model called CANet is designed for mesh quality e-v
7、aluation.Finally,Z-Score standardization is used to preprocess the data and solve the problem of incon-sistent input data distribution,further improving the accuracy.Experimental results show that,com-pared with the existing methods,CANet can achieve a better accuracy of 97.06%,and improves the ef-f
8、iciency by at least 34.9%.Keywords:Convolutional neural network;Attention mechanism;Mesh quality evaluation;Computation-al fluid dynamics;Numerical simulation收稿日期:2 0 2 2-11-2 1基金项目:国家重大专项(GJXM92579)作者简介:蔡梓豪(1998-),男,黑龙江大庆人,硕士研究生,主要研究领域为深度学习.E-mail:90 7 57 57 7 8 q q.c o m通讯作者:姜屹E-mail:y i j i a n g
9、 m a i l.u s t c.e d u.c n文献标识码:A3.Institute of Systems Engineering,Academy of Military Sciences,Beijing 100082,China;053003-1第6 0 卷1 引 言网格质量一直是影响计算流体力学数值模拟的重要因素之一1.质量较差的网格将降低数值模拟求解的精度2,甚至导致结果不收敛3.研究表明,即使一套网格中只存在极少部分的网格单元质量较差,这些低质量网格单元也会对数值模拟的结果产生严重影响4,5.事实上,即使是十分先进的网格生成工具,也很难保证生成网格的质量能够完全达到数值求解的要求6
10、.为了获得更可靠的数值模拟结果,在数值模拟求解前执行网格质量评价是十分必要的7。传统网格质量评价方法往往依赖于网格单元的几何形状参数.例如较早的时候,有研究者提出通过网格单元的面积与边长来计算网格单元的质量8.随着研究的不断深入,大型CAE软件提出更为复杂的评价指标来评价网格的质量9.10,例如网格单元的长细比、最大内角、扭曲度、翘曲度、雅可比比率、正交质量系数等.通过对这些指标进行加权计算,工程师们可以获得网格中每个网格单元的网格质量及分布.然而,这些方法仅仅关注于每个网格单元的几何形状,却难以评价网格的整体质量,比如网格光滑性差或分布不合理等.实际中,仍然需要由经验丰富的网格质量工程师通过
11、这些质量评价指标的反馈对网格整体质量进行综合评判,并制定相应的网格优化策略。深度神经网络有望从网格质量评价工作大量的数据中学习到网格质量评价工作的潜在规律,从而代替人工网格质量评价环节,节省网格质量评价工作的人力成本.参考传统网格质量评价方法和深度学习图像分类问题,Chen等人 11 提出基于卷积神经网络的网格质量评价方法,并设计了一个基于VGG-19121模型的卷积神经网络模型GridNet用于评价二维翼型结构网格的质量.该方法将网格中的每一个网格单元的最大内角、水平长度和竖直长度按网格计算域封装成三维张量矩阵输入卷积神经网络模型,通过卷积神经网络模型进行网格质量的分类.尽管此方法能够在一定
12、程度替代网格质量工程师对网格的整体质量进行评价,但其准确率和效率还有待提升.为了提高模型准确率,Xu等人13设计了一个基于残差网络14(ResNet-50)模型的卷积神经网络模型MeshNet用于网格质量评价任务.尽管相四川大学学报(自然科学版)较于VGG-19模型,深度残差网络能够提升模型的数据拟合能力,但实验结果表明,该方法对准确率的提升效果比较局限,而且更深的网络模型大幅降低了效率。为了提高模型效率,Chen等人15提出了一个基于深度可分离卷积16 的网络模型MQNet用于网格质量的检测.然而实验结果表明,深度可分离卷积在GPU上的表现并没有理想情况那么优越.尽管深度可分离卷积通过将传统
13、卷积过程分解,减小了计算量,但这也相当于增加了计算次数,导致其在GPU上的计算效率不佳.卷积神经网络模型的复杂度普遍与数据拟合效果成正比,与效率成反比12,14,16 1.现有工作表明,使用轻量级卷积神经网络会导致准确率不足,而增加卷积神经网络模型复杂度对准确率的提升效果比较局限,而且会导致效率的大幅下降.引入注意力机制是平衡准确率与效率的一种有效方法.2 0 14年,注意力机制17 被提出并很快被应用于计算机视觉领域18.19.研究证明,注意力机制能够结合卷积神经网络使用,以较小的计算代价有效提升卷积神经网络模型的准确率2 0-2 4.通道注意力能够通过建模各个特征通道的重要程度,并且根据任
14、务需求增强或者抑制各个特征通道的信息表达,从而提升模型的数据拟合效果2 5-2 8.此外,通道注意力是众多注意力机制中计算代价较小的一种,更加适合于在现有工作的基础上提升效率.因此,在轻量级卷积神经网络模型上嵌人通道注意力,利用通道注意力来弥补卷积神经网络数据拟合能力的不足将是同时提高精度和效率的可行方法.另外值得注意的问题是,现有方法使用的输入数据中,最大内角与水平长度、竖直长度的分布不一致,这会不利于神经网络模型的数据拟合.因此,需要使用数据标准化对其进行预处理,约束其数据分布.为此,本文提出了一种基于卷积注意力的网格质量评价方法.本文的主要贡献如下:(1)提出在轻量级卷积神经网络模型上嵌
15、人通道注意力的方法以同时提高精度和效率的同时,利用通道注意力对卷积神经网络拟合能力的增强来弥补轻量级卷积神经网络拟合能力欠佳的问题;(2)设计了一种卷积注意力网络模型CANet用于网格质量评价任务,通过该模型验证了所提出方法的有效性,并比较了ECA与经典的 Squeeze-and-Excitation23两053003-2第5期第5期种通道注意力对准确率提升的效果;(3)使用Z-Score对输入数据进行预处理,解决输入数据不一致的问题,以进一步提高准确率。2相关工作2.1残差网络残差网络是最成熟、应用最广泛的卷积神经网络模型之一.凭借独特的残差连接结构,残差网络的数据拟合能力优于大多数卷积神经
16、网络模型.实验结果表明,即使是层数较少的轻量级残差网络,也有很好的数据拟合能力14.残差连接结构将原始输人与卷积后的输出相加作为最终输出,从而防止了梯度消失和退化问题,获得了较强的数据拟合能力.残差模块第L+1层输出l+1和第L层输出L+1的关系如式(1)所示.l+1=rl+f(Wl+1l+bl+1)其中,WL+1表示第L十+1层卷积层的权重矩阵;bl+1层表示第L+1层卷积层的bias值;f为激活函数.残差网络有很多衍生的网络模型如ResNet-18、Re s Ne t-34、Re s Ne t-50,Re s Ne t-12 1等.模型名称中的数字代表了模型中卷积层的个数,数字越大则代表模
17、型复杂度越高、计算量越大.2.2通道注意力Squeeze-and-Excitation(SE)是通道注意力中最具代表性的工作.SE通过Squeeze和Excitation两个操作实现对通道信息表达能力的控制.Squeeze 利用全局平均池化2 9将特征压缩,实现全局上下文信息的融合,如式(2)所示.1g=GAP(Feature)HxWi=1 j=1其中,Feature表示输人特征;u(i,j)表示特征矩阵的值;H和W分别表示特征矩阵的高和宽.Exci-tation则类似于循环神经网络中门的机制,通过全连接层来为每个特征通道生成权重.高效通道注意力(Efficient Channel Atten
18、-tion,ECA)是对 SE的改进,与 SE相同,ECA同样利用全局平均池化对特征进行压缩,融合全局上下文信息.而在Excitation部分,ECA将原本SE模块中的两个全连接层替换为一个自适应卷积核的一维卷积层,从而获得了比SE更好的性能,一维卷积层的卷积核大小k根据输人特征的通道数C自适应,其计算方法如式(3)所示.蔡梓豪,等:基于卷积注意力网络的网格质量评价方法最近的奇数(向上取).3本文方法及模型本文提出了一种基于卷积注意力网络方法,即在轻量级卷积神经网络上嵌入通道注意力模块以同时提升准确率和效率.基于这一思想,本文设计了一个卷积注意力网络模型CANet用于网格质量评价,并通过Z-S
19、core数据标准化解决了输入数据分布不一致问题.本节将详细介绍CANet模型的输入输出、模型结构、损失函数及Z-Score数据预处理方法。3.1模型输入输出类比于深度学习图像分类问题,CANet的输(1)入X为网格中网格单元的最大内角、水平长度和竖直长度构成的三维张量矩阵,如式(4)所示.X=(M,H,V)其中,M为最大内角矩阵;H为水平长度矩阵;V为竖直长度矩阵.矩阵的行号、列号确定了网格单元在其计算域中的位置(二维问题中,网格的计算域为一个抽象的矩形平面,网格在计算域的各个方向上分别完全等间距),例如:M;元素的值即网格计算域中的第i行、第i列网格单元的最大内角值.网格单元的最大内角、水平
20、长度和竖直长度的实际含义如图1所示.竖直长度水平长度HW最大内角(2)网格单元特征图1CANet模型的输入Fig.1 The input of CANetCANet模型的输出为模型预测出的该套网格所属的质量类别(独热码向量),如高质量网格、正交性差等(具体类别见4.1节).3.2网络模型结构ResNet-18模型相较于VGG-19模型有更高的计算效率,因此CANet模型基于ResNet-18模型设计,在其中嵌入了ECA,其整体结构如图2.053003-3第6 0 卷log2(C)+bk=d(C)=I odd其中,和b为常数(=2,b=1);o d d 表示离结果(4)三维张量矩阵(3)第6 0
21、 卷四川大学学报(自然科学版)第5期RB177conv6433conv64MaxPool网络数据RB233conv6433conv64RB5RB633conv25633conv256RB33x3conv6433conv128ECARB733conv25633conv256RB433conv12833conv12833conv5123x3.conv512ECAEully conetion 100033conv128AvgPoolECARB833.conv51233conv5120.80reducemean0.2dropoutsqueeze一conv8ECAsofmax00000质量类别图 2 C
22、ANet模型结构Fig.2TThe model structure of CANet其中,RB表示残差模块.CANet中包含两种残差模块,即输人通道数与输出通道数相同的同维残差模块(RB1、RB2、RB4、RB6、RB8)和输人通道数与输出通道数不同的异维残差模块(RB3、RB5、RB7),两种残差模块如图3所示.InputInput3x3conv3x3conv,/2BNBNReLUReLU3x3conv3x3convBNBNReLUReLU,Output,Output图3同维残差模块和异维残差模块Fig.3 The same-dimensional residual block and th
23、e differ-ent-dimensional residual block其中,33conv表示卷积核大小为3X3的卷积;11conv同理.conv后的数字表示卷积输出的通道数./2 表示卷积的步长为2,没有标注的则表示卷积步长为 1.Batch Normalization(BN)301 为批归一化,用于对卷积输出进行归一化处理,从而防止梯度消失.CANet中的残差模块输入与输出O()之间的关系为O()=f(+BN(W2 f(BN(Wi+bi)+b2)(5)其中,W1、W 分别表示第1个和第2 个卷积层的权重;bi,b 2 分别表示第1个和第2 个卷积层的bias值.BN为批归一化,其公式
24、为2=-E()VVar()式(5)中的f表示ReLU激活函数,其输人与输出R()之间的关系为(0,(0)为了防止过拟合,CANet只在RB2、RB4、RB6和RB8中嵌入了ECA模块,嵌入的位置如图4所示.1x1conv,/2BN(6)053003-4(7)Input3x3convBNReLU33convBNECABlockReLU1Output图4ECA模块的嵌入位置Fig.4The embedding position of the ECA blockCANet中的ECA模块由全局平均池化层、一维卷积层和Sigmoid函数实现,其具体结构如图5所示.GAPFeature图 5ECA模块的结
25、构Fig.5The structure of the ECA blockSigmoidFeature第5期GAP表示全局平均池化,用于压缩输人通道特征,压缩后的特征输人一维卷积层,经过激活函数Sigmoid后,与原始输相乘,得到最终输出Feature,如式(8)所示.Feature=FeatureXo(Wg+b)其中,W为一维卷积的权重;b为bias值;表示Sigmoid激活函数其输入与输出()如式(9)所示.1():1+e-Maxpool和Avgpool分别表示最大池化和平均池化为了防止过拟合,我们在全连接层之后放置了一个dropout层.此外,CANet参考了Grid-Net和MeshNe
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 卷积 注意力 网络 网格 质量 评价 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。