基于改进生成对抗网络的图像数据增强方法.pdf
《基于改进生成对抗网络的图像数据增强方法.pdf》由会员分享,可在线阅读,更多相关《基于改进生成对抗网络的图像数据增强方法.pdf(13页珍藏版)》请在咨信网上搜索。
1、DOI:10.3785/j.issn.1008-973X.2023.10.009基于改进生成对抗网络的图像数据增强方法詹燕,胡蝶,汤洪涛,鲁建厦,谭健,刘长睿(浙江工业大学机械工程学院,浙江杭州310023)摘要:为了提高机器学习模型的精确度,提出基于数据分布拟合、生成式对抗神经网络和图像超分辨率重建的图像数据增强方法.该方法将最大似然估计和采样算法生成的符合原始数据分布的二维噪声用于对抗训练,克服了在生成模型中传统图像噪声输入随意的问题;采用逐层训练方式生成高分辨率图像,改进高分辨率图像映射困难、参数冗余的缺点.以轴承滚子表面灰度图像数据增强为例,验证所提方法的有效性.研究结果表明,所提方法
2、生成的图像质量更优,相比传统方法生成的图像峰值信噪比提高 13.07%,结构相似性提高 32.40%,弗雷歇初始距离降低 37.58%,且数据增强后的模型平均精确度提升 7.89%.关键词:图像数据增强;分布拟合;采样算法;生成式对抗网络;图像超分辨率重建中图分类号:TP391.4文献标志码:A文章编号:1008973X(2023)10199813Image data enhancement method based on improvedgenerative adversarial networkZHANYan,HUDie,TANGHong-tao,LUJian-sha,TANJian,LI
3、UChang-rui(College of Mechanical Engineering,Zhejiang University of Technology,Hangzhou 310023,China)Abstract:An image data enhancement method based on data distribution fitting,generative adversarial neuralnetwork and image super-resolution reconstruction was proposed to improve the accuracy of mac
4、hine learningmodel.Themaximumlikelihoodestimationandsamplingalgorithmwereusedtogeneratetwo-dimensionalnoiseconformingtotheoriginaldatadistributionforcounter-training.Theproblemofrandomnoiseinputintraditionalimagegenerationmodelswasovercome.Layerbylayertrainingmethodwasusedtogeneratehigh-resolutionim
5、agestocorrecttheshortcomingsofdifficultmappingtohigh-resolutionimages.Theeffectivenessoftheproposedmethodwasverifiedbytakingthegrayimagedataenhancementofbearingrollersurface.Theresultsshowedthattheimagequalitygeneratedbytheproposedmethodwassuperior.Comparedwiththeimagegeneratedbythetraditionalmethod
6、,theimagepeaksignal-to-noiseratiowasincreasedby13.07%,thestructuralsimilaritywasincreasedby32.40%,Frchet inception distance was reduced by 37.58%,and the average accuracy of the model after dataenhancementwasincreasedby7.89%.Key words:imagedataenhancement;distributionfitting;samplingalgorithm;genera
7、tiveadversarialneuralnetwork;imagesuper-resolutionreconstruction现代零件加工质量检测和设备故障诊断方法逐渐智能化,在各类机器学习和数据挖掘算法中,原始工业数据显得极为重要.性能良好的算法需要海量且优质的数据支撑,仅用少量数据驱动的模型很难具备较好的泛化能力.不过,多数情况下难以获取大量的工业数据集,例如变工况条件下标定完整的轴承振动数据集1.在图像处理领域,针对工业数据不足的问题,现有的数据增强方法包括对原始图像进行几何变换、随机调整亮度和对比度、添加各类噪声等操作,然而这些方法不能使训练样本的多样性产生质变2.迁移学习3可以大幅
8、减少人工标定成本,收稿日期:20221213.网址: 重点研发(尖兵)项目(2023C01063).作者简介:詹燕(1976),女,副教授,从事图像处理及智能制造研究.orcid.org/0000-0002-6861-8005.E-mail:第57卷第10期2023年10月浙江大学学报(工学版)JournalofZhejiangUniversity(EngineeringScience)Vol.57No.10Oct.2023但是迁移学习模型难以改变其网络结构,且灵活性较差,当训练集和测试集数据分布差异过大时,模型易发生崩溃.随着生成模型的发展,逐渐出现基于深度玻尔兹曼机(deepBoltzma
9、nnma-chine,DBM)4、生成随机网络(generativestochasticnetwork,GSN)5、变分自编码器(variationalauto-encoding,VAE)6、像素递归神经网络(pixelrecur-rentneuralnetworks,PixelRNN)、像素卷积神经网络(pixelconvolutionneuralnetworks,PixelCNN)7-8和生产式对抗网络(generativeadversarialnetworks,GAN)等数据增强方法.与 VAE 相比,GAN 不存在偏置,能够更好地拟合真实样本分布;与 DBM、GSN 和 PixelRN
10、N/CNN 相比,GAN 可一次性生成样本,而不用反复计算马尔可夫链或通过逐个生成像素的方式生成样本.GAN 以其良好的图像质量和快速的运行速度,成为了当前数据增强方法的主流研究方向之一.基于生成器与判别器零和博弈的思想,Good-fellow 等9提出生成式对抗神经网络,并将其应用于手写数字和人脸图像生成.Mirza 等10将标签信息输入到 GAN 的生成器和判别器中,提出条件生成对抗网络(conditionalgenerativeadversarialnets,CGAN),通过引入条件信息实现 GAN 的训练过程可控.Radford 等11将深度神经网络(deepneuralnetwork
11、s,DNN)引入 GAN,并用全局池化层替换全连接层,提出深度卷积生成对抗网络(deepconvolutionalgenerativeadversarialnetworks,DCGAN).为了稳定 GAN 的训练,Arjovsky 等12提出沃瑟斯坦生成对抗网络(WassersteinGAN,WGAN).Gulrajani 等13提出带梯度惩罚项的沃瑟斯坦生成对抗网络(WassersteinGANwithgradientpenalty,WGAN-GP).传统 GAN 方法生成的图像数据较为模糊,为了生成高分辨率的图像数据,Berthelot 等14基于自编码器提出边界均衡生成式对抗网络(bou
12、ndaryequilibriumgenerativeadversarialnetworks,BEGAN).Karras 等15提出 PG-GAN,通过渐进训练的方式增大生成图像的空间分辨率.Karras 等16-18借鉴风格迁移网络并通过修改渐进层输入,提出 StyleGAN 系列对抗网络,实现对隐空间的解耦.图像超分辨率重建可以利用低分辨率图像经过训练得到高分辨率图像,Dong 等19将深层卷积网络应用于图像超分辨率重建提出超分辨率卷积神经网络(super-resolutionconvolutionalneuralnetwork,SRCNN).相比通过 GAN 方法得到高分辨率图像,图像超分
13、辨率重建技术模型结构更简单,且训练过程更稳定.综上所述,现有图像数据增强方法存在以下问题:1)基于传统 GAN 方法直接建立向高分辨率图像的映射网络,网络难以工作.2)图像超分辨率重建技术是在已知低分辨率图像的基础上生成高分辨率图像,模型无法自主生成低分辨率图像.3)目前基于 GAN 的模型对于噪声的输入都极为随意,在多数情况下都是直接输入一维随机噪声,导致输入的噪声和样本原始分布差异较大.网络可训练参数量过多,会影响模型收敛速度.4)现有的渐进式训练方法能够生成高分辨率图像,但是也带来了训练速度缓慢的问题.针对上述问题,本研究提出基于分布拟合对抗神经网络的图像数据增强方法.通过最大似然估计拟
14、合原始样本数据空间分布;根据 Box-Muller 和马尔科夫链蒙特卡洛(MarkovchainMonteCarlo,MCMC)采样算法20生成符合原始样本空间分布的随机噪声;结合带条件信息的 WGAN-GP 和 SRCNN 提出新的图像数据增强方法,并利用轴承滚子表面缺陷检测数据验证所提方法的可行性和优越性.1基于传统对抗式神经网络的图像数据增强方法1.1 GAN 和 CGANzG(z)xG(z)D(G(z)G(z)D(G(z)G(z)GAN 由生成模型(G)和判别模型(D)2 个部分构成,生成模型输入随机噪声,用于拟合真实样本数据分布,判别模型接收生成样本以及真实样本,用于判别生成样本是否
15、来自于真实样本 x.生成模型的目的是最大化,即最大化判别模型将判别为真实样本的可能性,而判别模型的目的是最小化,即最小化将判别为真实样本的可能性.在经过多次对抗训练后,生成器和判别器达到纳什平衡21.GAN的目标函数为minGmaxDV(D,G)=ExPr(x)ln D(x)+EzPz(z)ln(1D(G(z).(1)V(D,G)ExPr(x)zPz(z)D(x)G(z)式中:为优化目标函数,由生成器和判别器 2 个部分组成;为分布函数的数学期望;为真实数据;为原始数据分布;为随机噪声;为随机噪声数据分布;为判别模型判别结果;为生成模型输出样本.CGAN 的结构以及原理和 GAN 类似,CGA
16、N第10期詹燕,等:基于改进生成对抗网络的图像数据增强方法 J.浙江大学学报:工学版,2023,57(10):19982010.1999在生成模型输入中增加了期望生成数据标签.判别模型输入中增加了真实数据标签,用标签信息控制 CGAN 的训练过程,使得 CGAN 能够生成和标签信息对应的数据.CGAN 的目标函数为minGmaxDV(D,G)=ExPr(x)ln D(x|y)+EzPz(z)ln(1D(G(z|y).(2)式中:y 为条件信息.1.2 基于 GAN 和 CGAN 的图像数据增强方法基于传统对抗式生成网络的图像数据增强方法首先将一维随机噪声和真实图像样本输入到原始 GAN 或 C
17、GAN 网络中,同时对生成模型和判别模型进行对抗训练,在模型训练完成后,单独取出生成模型,将一维随机噪声输入生成模型即可生成新的样本,基于传统 GAN 方法的训练过程如图 1 所示.生成模型 G判别模型 D真实样本一维随机噪声LGLD0/1?xzG(z)G(z)图 1 基于传统 GAN 的图像数据增强方法Fig.1ImagedataenhancementmethodbasedontraditionalGAN上述 2 个模型能够生成新的样本,但是都难以训练.原始 GAN 和 CGAN 在训练过程中容易产生模式崩溃和梯度消失问题,并且生成器和判别器的损失值无法反馈模型收敛信息22.一维随机噪声长度
18、较长,会导致全连接层参数过多,造成模型参数冗余,严重影响训练效率.2基于生成对抗神经网络超分辨率重建的图像数据增强方法为了解决传统 GAN 用于图像数据增强时存在的模型难以训练、参数大量冗余且噪声输入随意等问题,通过极大似然估计、Box-Muller 和MCMC 算法生成符合原始数据分布的随机噪声,在此基础上融合 WGAN-GP 和 SRCNN 网络,提出基于分布拟合对抗神经网络的图像数据增强方法.本研究的数据增强方法主要由数据预处理、原始数据分布拟合、随机噪声生成、模型训练及优化和生成样本质量评价等 5 个步骤组成,框架如图 2 所示.2.1 WGAN 和 WGAN-GP生成器随机初始化后的
19、生成分布很难与真实分布有不可忽略的重叠,因此 WGAN 用 Wasser-1、数据预处理2、数据分布拟合3、随机噪声生成4、模拟训练及优化5、生成图像质量评价计算图像质量评价指标图像峰值信噪比图像结构相似性搭建并训练 WGAN-GP网络图像超分重建网络生成符合原始数据分布的随机噪声Box-Muller 算法Metropolis-Hastings 抽样算法采样图像标定图像降采样生成灰度直方图构建最大似然函数最大似然估计图 2 基于生成对抗神经网络超分辨率重建的图像数据增强方法流程图Fig.2Flowchartofimagedataenhancementmethodbasedongen-erati
20、veadversarial neural network super-resolution recon-struction2000浙江大学学报(工学版)第57卷stein 距离作为等价优化的距离衡量,进而同时解决稳定训练和进程指标的问题12.Wasserstein 距离计算公式为W(Pr,Pg)=inf(Pr,Pg)E(x,y)|xy|.(3)PrPg(Pr,Pg)PrPg(x,y)xy xy式中:为真实数据分布;为生成数据分布;为和组合得到的所有可能的联合分布集合;对于每个可能的联合分布可以从中采样得到样本和,为这对样本的距离.Wasserstein 距离计算公式的对偶形式为W(Pr,Pg)
21、=1KsupfLKExPrf(x)ExPgf(x).(4)supffLKfK 0|f(x1)f(x2)|K|x1x2|式中:为上确界,即最小上界;为一个连续函数;表示必须满足利普希茨连续条件(Lips-chitzcontinuity),即存在一个常数使得在定义域内.WGAN 的目标函数为V(G,D)=maxD1LipschitzExPrD(x)ExPgD(x).(5)D 1LipschitzD|D(x1)D(x2)|x1x2|Dc,c式中:为判别器必须满足利普希茨连续条件,即满足.为了满足这一条件,WGAN 在每步迭代完成后将判别器的参数截断在,但是这种优化策略容易导致参数取值极端化、梯度消失
22、和梯度爆炸.针对这个问题,WGAN-GP 通过对目标函数加入梯度惩罚项间接实现利普希茨连续条件,WGAN-GP的目标函数为V(G,D)=max ExPrD(x)ExPgD(x)E xPPEN(xD(x)21)2,(6)x=xr+(1)xg,xr Pr,xg Pg,Uniform0,1.0.(7)xrxgPrPg xxrxgPPEN xD(x)2DL2式中:为梯度惩罚权重,、分别为真实分布和生成分布中的数据,为随机噪声在和的连线上随机插值采样得到数据,为采样得到数据的集合,为服从 01.0 均匀分布的随机数,为判别器梯度的范数.2.2 数据预处理对工业相机采集的少量原始图像数据进行人工标定,获得
23、图像对应标签;用单层卷积层对原始图像数据集进行降采样,将原始图像尺寸缩小到所需尺寸.目的是减少原始图像数据的空间冗余,提高模型的计算效率.降采样输出图像尺寸计算公式为Oout=(Iinkc+2V)/d+1.(8)OoutIinkcVd式中:为输出图像尺寸,为输入图像尺寸,为卷积核尺寸,为边界填充参数,为滑移步长.输出图像通道数等于卷积核数量.2.3 原始数据分布拟合通过最大似然估计法对降采样之后的数据进行分布拟合,目的是获得原始数据分布的概率密度函数.首先生成图像灰度直方图,根据灰度直方图初步判断数据近似服从的分布;然后分别将近似服从分布和常用分布的概率密度函数构建成最大似然函数;最后求解得到
24、概率密度函数待估计参数值.最大似然估计法计算方法为L()=L(x1,x2,xn|)=ni=1f(xi|),(9)ln L()=ni=1ln f(xi|),(10)=argmaxni=1ln L()=argmaxni=1ln f(xi|).(11)L()f(xi|)xi式中:为最大似然函数,估计参数,为概率密度函数,为样本值,为极大似然函数估计值.2.4 随机噪声生成通过 Box-Muller 和 MCMC 采样算法,根据原始数据分布拟合得到的概率密度函数生成符合原始数据分布的随机噪声,具体方法步骤如图 3 所示.2.4.1Box-Muller 变换在很多情况下累积分布函数的反函数无法直接获得.
25、Box-Muller 变换通过对目标分布的联合概率密度函数进行三角换元,输入概率密度函数 f(x)求概率分布函数 F(x)输出随机噪声 z是是否否f(x)可积?F(x)反函数可求?Box-Muller 算法MCMC采样算法图 3 生成随机噪声流程图Fig.3Flowchartofgeneratingrandomnoise第10期詹燕,等:基于改进生成对抗网络的图像数据增强方法 J.浙江大学学报:工学版,2023,57(10):19982010.2001R分别求出换元后联合概率密度函数关于和的边缘分布函数,再对其求反函数,最后将服从均匀分布的随机变量映射到所求分布上,得到服从目标分布的随机噪声.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 生成 对抗 网络 图像 数据 增强 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。