![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于特征重构自愈残差网络的神经元形态分类.pdf
《基于特征重构自愈残差网络的神经元形态分类.pdf》由会员分享,可在线阅读,更多相关《基于特征重构自愈残差网络的神经元形态分类.pdf(11页珍藏版)》请在咨信网上搜索。
1、 年 月第 卷第 期西 北 工 业 大 学 学 报 :收稿日期:基金项目:国家自然科学基金()、广西自然科学基金(,)与广西师范大学重点科研项目()资助作者简介:何富运(),广西师范大学副教授,主要从事生物图像信息处理与分析研究。:基于特征重构自愈残差网络的神经元形态分类何富运,韦燕,丰芳宇,钱有为(广西师范大学 电子与信息工程学院,广西 桂林)摘 要:针对不同类别神经元之间的形态相似度高、类内区别性大,容易导致神经元分类准确率不高的问题,提出了一种基于特征重构自愈残差网络的神经元形态分类方法。针对传统卷积造成边缘像素弱化和填充策略带来新像素侵蚀特征的问题,在基础网络后端构建特征重构模块来保留
2、重要的中心特征并过滤受损的边缘特征。利用自注意力权重模块和排序正则化损失方法增强对神经元形态特征的关注。自注意力权重模块为每个样本重新分配权重,以此捕获样本重要性进行加权损失;排序正则化模块则将这些权重按降序重新排序,分为高低 组权重,同时通过在 组平均权重之间强制执行边距进行正则化处理。所提方法在大鼠神经元形态数据集上进行实验,实现了较为优良的分类效果,在、和 数据集上进行十二分类的准确率分别达到了,。与其他分类方法相比,所提方法具有更高的神经元形态分类准确率,相较于基础网络,有效地提升了神经元形态分类准确率。关 键 词:神经元形态分类;特征重构;自愈残差网络;自注意力权重;深度学习中图分类
3、号:文献标志码:文章编号:()大脑的结构和功能十分复杂,其病变通常会导致神经性退行疾病的产生。神经元作为大脑结构的基本单位,其结构和功能包含着很多因素,其中形态特征和电学特性是 个非常重要的因素。神经元形态分类是探索和理解大脑神经功能的基本途径,广泛应用于神经元形态的三维重建、神经功能和结构映射等研究领域。神经元形态与其功能息息相关,因此依据神经元的形态特征对神经元进行分类,非常有助于理解大脑的结构和功能。但神经元具有复杂多样的形态结构,不同类型神经元之间的区别性小,而同类型神经元的子类和结构的区别性大,因而容易导致神经元形态分类准确率不高的问题。传统的神经元形态分类,主要依赖于手动提取特征,
4、不仅费时费力,而且分类准确率不理想。近年来,深度学习在图像分类中表现优异,逐渐成为研究图像分类的主流方法。深度卷积神经网络虽然在神经元形态分类领域展现出不错的前景,但其性能远未达到预期。因为在卷积过程中,若是一味地遵循卷积工作模式,随着网络深度不断加深,将会丢失边缘像素信息,不利于神经元形态特征的提取。等为了解决感知偏差提出填充策略,该策略允许在输入图像的外围使用零填充再开始卷积,这为边缘像素与卷积核交互提供了更多的机会,从而抑制了卷积的感知偏差,增加了边缘信息对特征提取的贡献。同时,填充策略可以防止输入图像在卷积后出现特征收缩现象,在一定程度上提高了卷积神经网络的性能。但在图像处理领域中,每
5、个像素都有它的实际意义,零填充会带来新的数据并将其合并到图像中,大量外来像素会逐层侵蚀特征信息,从而导致神经元分类性能受到影响。为了解决上述问题,本文深入研究卷积神经网络的架构和神经元形态数据,以残差网络(,)为基础网络,提出了一种基于特征重构自愈残差网络(,)用于实现神经元形态分类任务。具体流程为:在基础网络的后端搭建特征重第 期何富运,等:基于特征重构自愈残差网络的神经元形态分类构模块,该模块通过亚像素卷积对特征进行重组,获得更大的特征图。使用大步幅的卷积核对特征图进行二次提取以提高边缘像素的感知频率,从而缓解神经元的形态特征在提取阶段因填充策略而导致的特征被外来像素侵蚀的问题。融合自注意
6、力权重和排序正则化模块,通过自注意力权重模块为每一个样本重新分配权重,排序正则化模块对自注意力权重模块学习到的权重进行降序以此确保学习到有意义的权重,促使网络更加关注神经元几何形态特征和有效地提取神经元形态分类判别性特征,从而获得更加准确的神经元形态分类结果。相关研究工作早期,等根据原始空间几何数据估计神经元形态特征,提出了一种新的基于支持向量机(,)的神经元形态分类方法。等分析了多个维度的神经元图像,并使用结构特征提取技术获取其显著特征,实现了对啮齿动物脑干中的多巴胺能神经元进行自动化分类。等使用 提取形态学特征,并分别将无监督和监督分类技术应用于形态学特征分类。等使用机器学习技术对线粒体形
7、态进行计算图像分析,可以对不同的生理和病理线粒体形态进行准确分类。近年来,深度学习方法成为数字图像处理的主流方法,与传统机器学习方法不同,深度学习可以更深层次地提取神经元的形态特征,并实现自动分类,因此更加受到研究者的青睐。等分别构建了线虫和斑马鱼 种不同物种的神经元数据集,在此基础上提出了局部累加连接深度神经网络的神经元形态分类方法,将神经元的几何形态量化特征作为网络的输入来进行神经元形态分类。文献基于自适应投影算法将三维神经元图像投影成二维图像,并针对该数据提出了双卷积门限循环神经网络模型。文献使用了完整的神经元三维体素数据进行缩放,采用三维卷积神经网络进行神经元几何形态的分类实验。等提出
8、了采用不同类型的深度神经网络模块可以很好地处理不同类型的特征,首先针对神经元图像数据构建了一个卷积神经网络()模块,然后针对压缩但非结构化的 格式数据构建了一个 模块,最后将这 个模块提取到的特征融合后再进行分类。等对大鼠初级体感皮层()和初级运动皮层()中的神经元进行免疫组织化学染色,并借助深度学习算法对 和 免疫信号进行二分类。与上述方法不同的是,本文提出的方法是在解决传统卷积缺陷的基础上进行改进,并通过融合多个子网络模块来关注网络感兴趣的区域,从而达到较好的神经元形态分类性能。本文以 等制作的大鼠神经元形态数据集作为实验基础,分别在 个神经元图像数据集上进行二分类和十二分类实验,以此来验
9、证本文方法的有效性。方 法神经元形态分类算法一般分为预处理、特征提取、神经元特征分类。面对具有复杂多样结构的神经元,对每个像素信息的提取都极为重要。在卷积神经网络中,填充策略可以缓解特征图收缩和卷积过程中存在的感知偏差,但同时会引入新的特征,受 等提出的去白化模块()消除白化特征的启发,结合神经元形态数据的特点,提出基于特征重构自愈残差网络()。本节将概述,再详细介绍每个模块的功能。总体框架本文提出的 采用 作为前端基础网络进行特征提取,为了解决卷积填充带来的问题,在基础网络后端构建了特征重构模块,该模块是由亚像素卷积对已提取到的特征图进行重组,获得 个通道的特征图,再进行二次处理得到更加准确
10、和干净的特征,从而更有利于神经元形态分类。同时,为了更好地让网络关注有效的神经元形态特征,使用自注意力权重模块,为每个样本重新分配权重,并在网络训练时引入了排序正则化损失函数。如图 所示,主要由 个模块组成:特征重构模块、自注意力权重模块以及作为辅助的排序正则化模块。特征重构模块将基础网络提取到的特征重新分配并进行二次提取。自注意力权重模块进一步对样本进行权重重新分配,并使用排序正则化模块对权重进行排序,从而促进网络关注到更加有效的神经元形态特征。西 北 工 业 大 学 学 报第 卷图 特征重构自愈残差网络 特征重构模块传统卷积神经网络在卷积过程中会出现感知偏差,即图像边缘像素与卷积核交互的频
11、率少于中间像素与卷积核交互的频率。本文使用 的矩阵来表示图像的像素感知频率,如图 所示,通过步幅为,大小为 的卷积核在 的特征图上进行卷积,图中的数字表示卷积交互的次数,由此可知在卷积核进行卷积的过程中,边缘像素的感知频率要低于中间像素的感知频率。随着网络层数的加深,容易丢失边缘的重要信息,非常不利于神经元形态分类。因此,有研究者提出使用填充策略来缓解边缘信息丢失的问题。而引入填充策略会带来新的问题,如使用零填充策略在卷积过程中零元素伴随卷积操作流入新特征,造成原始特征被侵蚀的问题。图 感知偏差示意图考虑到感知偏差和填充策略侵蚀特征都出现在图像边缘位置,如果能将受侵蚀程度相同的像素聚集在一起,
12、同时保持它们的相对位置分布,再对其进行二次处理,便可缓解在提取过程中出现特征丢失和侵蚀的问题。亚像素卷积可以将通道信息转换为空间信息,同时还可以保存像素之间的相对位置。因此,本文在特征重构模块中首先采用亚像素卷积进行特征重新分配,其具体实施过程如图 所示,将每个特征图相对应的位置像素点聚集以获取更大的特征图,其中相对应位置像素点的聚集称为特征簇。图 特征重新分配示例图为了更好地实现神经元分类,在基础网络的后端,构建特征重构模块以提取更为干净的形态特征,其结构如图 所示。图 特征重构模块通过 提取 个通道的 特征图,使用亚像素卷积对特征图进行重构,得到 个通道的 特征图,其中特征簇大小为。卷积核
13、的大小和步幅都会影响感知偏差,因此通过调整卷积核的大小重新将权重定性分配给不同位置的像素,同时考虑 个通道的相关性,获得重构后的特征图进行特征提取的卷积核必须为单通道且大于特征簇,这样才能增强特征的多样性,确保在特征提取过程中卷积核发挥作用。同时卷积核的步幅设置为,为特征簇大小的一半。特征重构模块的输出第 期何富运,等:基于特征重构自愈残差网络的神经元形态分类将 个通道的特征均值化,分别代表了每个神经元的特征。自注意力权重模块自注意力权重模块()受启发于文献,通过自注意力权重模块为每个样本学习一个权重,以此捕获对样本的学习,该模块由线 性 全 连 接 层(,)和 函数组成。在预测神经元的样本中
14、,会存在较高或较低的权重,因此,在改进的网络中,引入自注意力权重模块为神经元样本重新分配权重,在神经元形态特征中学习样本权重从而进行损失加权。将 ,作为输入,并输出每个特征权重为()()式中:表示第 个样本的权重;表示网络关注 层的参数;为 函数。排序正则化模块由于神经元存在结构的相似性和复杂的多样性,增强网络对神经元形态特征的学习尤为重要。受文献的启发,采用 个简单的损失函数的线性组合来收敛网络训练。首先,对于 个神经元类别,网络输出维向量,通过自注意力权重将输出结果归一化至,之间,设 表示的是第 个分类器,表示第 个样本中被分为 类的概率,则有 ()本文采用对数加权的方法,对于多分类任务,
15、对数加权交叉熵损失函数定义为 ()()并对自注意力权重模块学习到的注意力权重使用辅助模块即排序正则化模块(),该模块对学习到的注意力权重进行降序排列,然后以一定的比率 权重分为高低 组权重。,()()式中:为高组权重的均值,样本数为 ,为低组权重的均值,样本数为 。排序正则化要保证高权重组的均值大于低权重组的均值,并留有一定的裕度,为可学习的参数裕度。在训练过程中,使用多分类交叉熵损失函数和排序正则化损失函数共同优化网络,完成端到端的训练。因此,网络的损失函数表示为 ()式中:表示排序正则化损失函数;表示多分类交叉熵损失函数。实验结果与分析 实验数据集本文实验均在 数据集中的神经元二维图像数据
16、集上进行,其中包含爬虫获得的原始神经元图像()、软件修复后生成的神经元图像()和把 对齐后的神经元图像数据(),相关参数如表 所示。表 神经元形态数据集的参数分类类型数据集原始分辨率训练集分辨率训练集数量测试集数量二分类 十二分类 本文分别对这 个神经元形态数据集进行二分类和十二分类实验。二分类的神经元类型包含主神经元()和中间神经元(),十二分类是由 种主神经元()、种中间神经元()、种胶质神经元()和 种感受体神经元()的 个子类组成,其中主细胞神经元()包含、和 西 北 工 业 大 学 学 报第 卷神经 元,中 间 神 经 元()包 含、和 神经元,胶质神经元()包含 和 神经元。实验设
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 特征 自愈 网络 神经元 形态 分类
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。