基于多孔卷积神经网络的图像空间结构信息细节表征.pdf

第 37 卷 第 1 期2024 年 03 月Vol.37 No.1Mar.2024盐城工学院学报（自然科学版）Journal of Yancheng Institute of Technology(Natural Science Edition)基于多孔卷积神经网络的图像空间结构信息细节表征徐叶军（苏州工业园区服务外包职业学院 生物科技学院，江苏 苏州 215123）摘要：针对传统图像空间结构信息表征方法存在细节表征模糊度较高、信息训练损失较高等问题，提出一种新的基于多孔卷积神经网络的图像空间结构信息细节表征方法。该方法通过图像空间结构信息细节相似性度量，并以图像的形状、颜色和纹理特征对图像空间结构信息细节进行编码，再去除图像冗余信息，利用多孔卷积神经网络对图像空间结构的深度信息进行融合，从而完成图像空间结构信息的细节表征。实验结果表明，基于多孔卷积神经网络的图像空间结构信息细节表征方法在模糊度、训练损失、图像相似性等方面都比传统的3种方法优越，能够清晰地表征图像空间结构信息。关键词：多孔卷积神经网络；图像空间结构；细节表征；冗余信息；深度信息融合中图分类号：TP391 文献标志码：A 文章编号：1671 -5322（2024）01 -0020 -06大数据时代，图像量越来越大，图像信息获取难度越来越高1。要准确地提取图像，就必须对图像空间结构信息细节进行表征。目前，对图像空间结构信息细节表征的研究较多，但这些方法不仅计算量较大，空间结构信息估计效率也较低，导致图像空间结构信息细节表征较模糊2-3。为此，本文设计一种基于多孔卷积神经网络的图像空间结构信息细节表征方法，以解决目前存在的问题。多孔卷积神经网络是一种仿造生物视觉机制构建的包含计算且具有深度结构的前馈神经网络，可以进行监督学习与非监督学习，还能够深度考虑图像的空间细节信息，较好地提取出图像结构上的重要特征，因此利用多孔卷积神经网络对图像空间结构信息细节进行表征具有重要的实际意义。1图像空间结构信息细节表征方法1.1图像空间结构信息细节相似性度量基于多孔卷积神经网络的图像空间结构信息细节表征框架如图1所示。为提升图像空间结构信息细节表征效果，需要度量图像空间结构信息细节相似性4。图像空间结构信息细节相似性度量具体步骤如下：（1）将待表征的图像集，通过多孔卷积神经网络结构输出变换参数；图1 图像空间结构信息细节表征框架Fig.1 Detail characterization framework of image spatial structure informationdoi：10.16018/32-1650/n.202401004收稿日期：2023-06-30作者简介：徐叶军（1982），男，江苏南京人，副研究员/高级工程师，硕士，主要研究方向为计算机应用技术。徐叶军：基于多孔卷积神经网络的图像空间结构信息细节表征第 1 期（2）对变换参数进行仿射变换，实现正向坐标映射，得到输入图像的采样网络T；（3）对采样网络 T 进行双线性差值技术处理，得到变换后的图像b。（4）为减少正向变换时产生的信息损失，对图像b进行逆向坐标映射。假设（xt，yt）对应输入图像的像素坐标，（xb，yb）对应输出图像的像素坐标，变换过程为(xt,yt)=N(xb,yb)，（1）式中：代表仿射变换；N()xb，yb代表逆向坐标映射变换。（5）对经仿射变换处理后的输入图像b中的像素值，根据坐标映射的变换关系填充到相应位置，得到真实像素值。相似性度量后的图像表达式为V=a (xi-)，（2）式中：V代表原图坐标点的像素值；a代表原图像真实像素值；代表卷积层中当前层与上一层的特征参数；xi代表输入图像中第i个特征图的卷积核；代表图像b的逆向坐标映射过程中所使用的参数。经过对待表征图像空间结构信息的相似性度量，可以增大具有更高激活值的显著区域的概率，为图像空间结构信息细节表征提供基础。1.2图像空间结构信息细节编码根据图像空间结构信息细节相似性度量结果，通过图像的形状、颜色和纹理特征对图像空间结构信息细节进行编码。首先提取图像的形状特征，并用形状偏心率来描述。形状偏心率计算公式为Z=aV 100%，（3）式中：Z为nn区域内形状偏心率，%；为图像特征提取参数；为图像的形状特征。在提取图像的形状特征后，再对图像的纹理特征进行提取，以表征图像表面信息与周围环境的关系。为了提取纹理图像中辨识能力较强的特征作为检测单元，采用 HGOOP描述图像纹理特征，计算公式为Q=ZAm，（4）式中：Q代表纹理特征提取时的高斯函数；A代表图像的中心像素点；v代表图像局部纹理结构特征；m代表图像灰度级值。在对图像的纹理特征进行提取后，再来提取表征图像空间结构的颜色特征5。为提取图像空间结构的颜色特征，需建立颜色空间模型，以便更好地捕捉不同的颜色特征。本文将 DFO颜色空间方法应用到颜色空间模型中，DFO颜色空间如图2所示，其中D代表颜色，F代表图像色彩的深浅度，O代表图像亮度。替换图像对应的像素值以表征图像空间结构的颜色信息，替换公式为r=Q H ，（5）式中：r为图像空间结构的颜色信息；H为表征图像空间信息时设定的像素间的最大距离，cm；为图像颜色等级。在完成图像形状特征、纹理特征和颜色特征提取后，再按照图像形状特征、纹理特征和颜色特征对图像空间结构信息细节进行编码，公式为=r q|Z,Q,r|，（6）式中：代表图像空间结构信息细节编码；q代表细节编码因子。1.3图像空间结构信息细节表征在图像空间结构信息细节相似性度量及编码过程中包含大量冗余信息6，影响图像空间结构信息细节表征。另外，在图像采集、传输或处理过程中引入的随机干扰，会降低图像的质量，使图像变得模糊、失真或难以识别。因此在图像空间结构信息细节表征前，需要去除图像的冗余信息与噪声信息，去除过程为g(x,y)=d(x,y)+(x,y)，（7）式中：g（x，y）代表实际图像；d（x，y）代表无噪声图像7；（x，y）代表添加的噪声信息。在实际图像经过冗余信息与噪声处理后，退图2 DFO颜色空间Fig.2 DFO color space21第 37 卷盐城工学院学报（自然科学版）化为含噪图像，因此利用多孔卷积神经网络深层考虑含噪图像与去噪图像之间的关系。多孔卷积神经网络结构如图38所示。图3网络结构中包括输入层、输出层和反卷积子网。在卷积网络中，网络隐含层由特征图组成，网络输入层不限制图像大小，因此不需要处理图像大小就可以将含有噪声的图像从输入层输入9。在图像输入多孔卷积神经网络后，使用55的卷积核对图像进行卷积操作，为待采样图像添加偏置，形成C1层，添加偏置后的网络包含32位特征图9，待训练的参数个数为55132+32；然后减小卷积核到33，并增加特征图数量32个，再将特征图与上一层的特征图进行连接，形成含有64个特征图的C2层，并将C2层与C1层对应生成64 个特征图，此时需要训练的参数个数为 116432+32；在上述 C1层经过反卷积操作生成 C2层的基础上，增大卷积核大小为55，并将输出特征图大小设置为1，此时反卷积输出的结果就是网络输出层输出的去噪图像。在图像空间结构信息的噪声处理完成后，就可以对图像空间结构深度信息的特征进行融合10。根据上述获得的图像纹理特征、颜色特征和形状特征性质，定义图像特征融合的5种基本结构单元，如图4所示。在对图像融合时，从点（0，0）开始，用33的正方形自上而下从左到右地移动，若有结构元素与图4中的任意一个相同，则保留该值；若不同，则放弃，继续进行融合。在上述图像融合的基础上，对图像空间结构信息进行相似性度量11-12。由于欧氏距离可以有效地衡量连续图像中相邻点之间的差异程度，从而获取图像中的细节信息。因此，采用欧氏距离衡量图像中各个点之间的绝对距离，计算公式为13L=g(x,y)h ，（8）式中：L 为多维空间中图像点之间的绝对距离，cm；h 为图像像素中较小的权系数；为图像数据集。根据上述计算结果，将图像颜色、形状、纹理特征融合14-15，并将融合结果表征在多孔卷积神经网络结构框架中；激活多孔卷积神经网络结构中已存储目标的表征16-17，从而完成图像空间结构深度信息表征。2图像空间结构信息细节表征评价指标图像空间结构信息细节表征评价指标有 3种，分别是模糊度、训练损失和图像相似性。输入CCCSSS输出.输入层输出层反卷积子网 网络隐含层图3 多孔卷积神经网络结构Fig.3 Porous convolution neural network structure a）方向0b）方向90c）方向45d）方向135e）无方向a 0方向 a）方向0b）方向90c）方向45d）方向135e）无方向d 135方向 a）方向0b）方向90c）方向45d）方向135e）无方向b 90方向 a）方向0b）方向90c）方向45d）方向135e）无方向e 无方向 a）方向0b）方向90c）方向45d）方向135e）无方向c 45方向图4 图像特征融合的特征单元Fig.4 Feature units of image feature fusion22徐叶军：基于多孔卷积神经网络的图像空间结构信息细节表征第 1 期2.1模糊度模糊度是反映图像质量的重要指标，对图像质量的影响最为严重。通常来说，模糊度越高，图像越不清晰，图像处理以及接收过程越困难，图像空间结构信息细节表征效果越差；反之，模糊度越低，图像空间结构信息细节表征效果越好。模糊产生的原因很多，一般用通用的数学模型来表示图像模糊程度，具体计算公式为g(x,y)=f(x,y)+n(x,y)，（9）式中：f（x，y）表示原始图像；表示扩散点函数；表示卷积；n（x，y）表示随机噪声，dB。2.2训练损失目前大部分基于神经网络的图像信息研究都是基于MMSE准则，对应的损失函数为W(,Y;)=c()Y;Y-，（10）式中：代表目标图像的时频特征输入；Y代表带噪图像的时频特征输入；代表网络参数，由权重矩阵和偏置矩阵组成；c(Y；)代表网络的输出，可以理解为掩蔽估计或者增益估计。2.3图像相似性通常使用离线训练神经网络最后一层输出的第1帧模板特征和待检测图像特征计算相似性响应R，计算公式为R=u1 xt+，（11）式中：R为相似性响应；u1、xt分别为第1帧模板图像和第t帧待检测图像经过网络最后一层的特征映射图；为偏置项。3实验过程及结果分析3.1实验过程为了验证基于多孔卷积神经网络的图像空间结构信息细节表征方法的有效性，在MATLAB平台利用 DIDHFOH2、NDSkk8 和 MATLAB 深度学习库，将来源于 Pascal VOC 数据集的 1 000个训练集（包含80个物体类别共1 000个分辨率均为 640480的训练图像），随机分为 5组，分别利用基于多孔卷积神经网络的图像空间结构信息细节表征方法与文献 18-20 的方法进行图像细节表征，对比4种方法处理后图像的模糊度、训练损失及图像相似性，结果如图5图7所示。3.2实验结果分析图5为利用MATLAB生成的模糊度曲线。由图5可知，本文设计的基于多孔卷积神经网络的图像空间结构信息细节表征方法整体的模糊度值较低（均在5%以下），而传统的3种方法（文献图5 实验对比结果Fig.5 Experimental comparison results图6 不同算法训练损失情况对比Fig.6 Comparison of training loss of different algorithms图7 图像相似性响应Fig.7 Image similarity response23第 37 卷盐城工学院学报（自然科学版）18-20）整体模糊度值较高，整体曲线均高于本文研究方法。这是由于本文设计的方法利用多孔卷积神经网络，能够对图像纹理、形状、色彩等细节进行编码，并对图像空间特征进行深度挖掘，因此模糊度较低。图6为不同算法训练损失情况的对比。图6中横坐标是训练步数，是从训练的 10 万步中每500 步采样一次得出的，因此生成数据存在波动。但是从图6可以看出，基于多孔卷积神经网络的算法的训练损失均在 2103以下，明显低于传统的3种研究方法。图7为不同方法表征图像细节信息的图像相似性响应，其中最佳相似度响应代表理想状态或最优匹配的结果。由图7可以看出，基于多孔卷积神经网络的图像相似度响应与最佳相似度响应最为接近，传统的3种研究方法的相似度响应与理想状态存在偏差。说明基于多孔卷积神经网络的图像空间结构信息细节表征方法比传统的3种方法细节表征模糊度低，能够保证图像空间结构信息细节表征的清晰度。4结束语鉴于传统的图像空间结构信息细节表征方法都存在细节表征模糊的问题，本文设计了一种基于多孔卷积神经网络的图像空间结构信息细节表征方法。该方法通过图像空间结构信息细节相似性度量、图像空间结构信息细节编码、图像空间结构信息细节融合3个步骤完成图像空间结构信息细节的表征。实验结果表明，本文设计的基于多孔卷积神经网络的图像空间结构信息细节表征方法在模糊度、训练损失、图像相似性方面都比传统的3种方法优越，能够清晰地表征图像空间结构信息。因而，具有一定的实际应用意义。参考文献：1 林乐平，周宏敏，欧阳宁.融合空间位置与结构信息的压缩感知图像重建方法 J.计算机应用，2022，42（3）：930-937.2 黄梦涛，高娜，刘宝.基于双判别器加权生成对抗网络的图像去模糊方法 J.红外技术，2022，44（1）：41-46.3 吴亚楠，李西灿，董士伟，等.基于距离度量的高光谱遥感图像空间聚类方法 J.现代电子技术，2022，45（8）：163-168.4 YAN H M，HE M Y，MEI H X.Adaptive multi-layer structure with spatial-spectrum combination for hyperspectral image anomaly detection J.Journal of Northwestern Polytechnical University，2021，39（3）：484-491.5 KHAN M F，MONIR S M，NASEEM I.Robust image hashing based on structural and perceptual features for authentication of color images J.Turkish Journal of Electrical Engineering&Computer Sciences，2021，29（2）：648-662.6 王迪，潘金山，唐金辉.基于自监督约束的双尺度真实图像盲去噪算法 J.软件学报，2023，34（6）：2942-2958.7 周联敏，周冬明.基于注意力机制和残差块的真实图像去噪 J.计算机工程与设计，2023，44（5）：1451-1458.8 樊小宇，蔺素珍，王彦博，等.基于残差图卷积神经网络的高倍欠采样核磁共振图像重建算法 J.计算机应用，2023，43（4）：1261-1268.9 LEIBOVICH M，MANZORRO R，TAN M，et al.Convolutional neural network as a solution to segment and classify high resolution TEM images to obtain 3D information J.Microscopy and Microanalysis，2022，28（S1）：3024-3026.10 LI C L，GAO X Y.Adaptive contour feature and color feature fusion for monocular textureless 3D object tracking J.IEEE Access，2018，6：30473-30482.11 SUN W，LIAO Q M，XUE J H，et al.SPSIM：asuperpixel-based similarity index for full-reference image quality assessment J.IEEE Transactions on Image Processing，2018，27（9）：4232-4244.12 HE Y Z，GAO J，CHEN Y M.Deep learning-based pose prediction for visual servoing of robotic manipulators using image similarity J.Neurocomputing，2022，491：343-352.13 ANWARY A R，YU H N，VASSALLO M.Gait evaluation using Procrustes and euclideandistance matrix analysis J.IEEE Journal of Biomedical and Health Informatics，2019，23（5）：2021-2029.14 梁水波，刘紫燕，袁浩，等.注意力和多重特征融合的图像局部特征检测及描述 J.传感技术学报，2021，34（8）：1075-1081.15 XU Y C，NAGAHARA H，SHIMADA A，et al.TransCut2：transparent object segmentation from a light-field image J.24徐叶军：基于多孔卷积神经网络的图像空间结构信息细节表征第 1 期IEEE Transactions on Computational Imaging，2019，5（3）：465-477.16 SU X，MAUGEY T，GUILLEMOT C.Rate-distortion optimized graph-based representation for multiview images with complex camera configurations J.IEEE Transactions on Image Processing，2017，26（6）：2644-2655 17 方帅，闫明畅，张晶，等.基于细节关注的高光谱与多光谱图像融合算法 J.遥感学报，2022，26（12）：2594-2602 18 上官小雨，于跃波.视觉传达的多帧平面图像纹理细节增强算法 J.吉林大学学报（信息科学版），2023，41（2）：359-366.19 杨艳霞.基于光参量放大的三维动画图像细节模糊增强方法 J.激光杂志，2022，43（9）：114-118.20 SUBRAMANI B，VELUCHAMY M.Cuckoo search optimization-based image color and detail enhancement for contrast distorted images J.Color Research&Application，2022，47（4）：1005-1022.Detailed Characterization of Image Spatial Structure Information Based on Porous Convolutional Neural NetworkXU Yejun（College of Biotechnology，Suzhou Industrial Park Institute of Service Outsourcing，Suzhou Jiangsu 215123，China）Abstract:Aiming at the problems of high detail characterization ambiguity and high information training loss in traditional image spatial structure information characterization methods,a new image spatial structure information characterization method based on porous convolutional neural network is proposed.This method measures the similarity of image spatial structure information details,encodes the image spatial structure information details based on the shape,color and texture features of the image,then removes the redundant information of the image,and uses the porous convolutional neural network to fuse the depth information of the image spatial structure information,thus completing the detailed characterization of the image spatial structure information.The experimental results show that the detailed characterizationmethod based on porous convolutional neural network is superior to the traditional three methods in terms of ambiguity,training loss and image similarity,and can clearly characterize the spatial structure information of image.Keywords：porous convolutional neural network；image spatial structure；detail characterization；redundant information；deep information fusion（责任编辑：李华云）25