基于Transformer风格卷积网络的上市公司财务造假侦查技术研究.pdf
《基于Transformer风格卷积网络的上市公司财务造假侦查技术研究.pdf》由会员分享,可在线阅读,更多相关《基于Transformer风格卷积网络的上市公司财务造假侦查技术研究.pdf(7页珍藏版)》请在咨信网上搜索。
1、中国人民公安大学学报(自然科学版)2023 年第 3 期 No.3 2023Journal of People蒺s Public Security University of China(Science and Technology)总第 117 期 Sum117基于 Transformer 风格卷积网络的上市公司财务造假侦查技术研究刘摇 珊1,摇 邓志伟2(1.安徽粮食工程职业学院 工商管理系,安徽合肥摇 230011;2.合肥工业大学仪器学院与光电工程学院,安徽合肥摇 230009)摘摇 要摇 在当今数字时代下,上市公司财务造假具有专业性、隐蔽性、智能化特点,涉案数据体量大、数据类型多、数
2、据关系复杂等是上市公司财务造假侦查面临的主要挑战。如何利用前沿人工智能(AI)技术对财务造假进行智能化数据挖掘和侦查是经济侦查亟待解决的问题。由于上市公司财务数据的不同特征字段之间存在潜在的依赖关系,为此提出了一种 Transformer 风格卷积神经网络模型(TSCNN)对上市公司的财务造假进行监测识别,该技术针对深度学习中流行的卷积神经网络普遍应用小卷积核,无法对全局特征依赖性进行建模等问题,利用 Transform鄄er 架构中自注意力机制捕获全局的特征依赖,同时嵌入的大卷积核卷积层编码特征权重,增强感知特征间依赖关系的能力。此外,TSCNN 通过线性复杂度的 Hadamard 积简化自
3、注意力机制的运算。研究表明,所提出的侦查技术在上市公司财务数据上的鉴别性能优于现有流行的 ResNet 和 MLP 等人工智能算法。该方法是人工智能技术在经济侦查应用中的探索,在创新升级传统经济侦查手段基础上进一步提升办案效率。关键词摇 上市企业;财务造假;人工智能;经济侦查中图分类号摇 D918郾 2文献标志码摇 A收稿日期摇2023鄄03鄄16基金项目摇安徽省质量工程教学研究项目(2022jyxm420);安徽省科学研究项目重点项目(2023AH053268)。第一作者简介摇刘珊(1989),女,安徽合肥人,硕士,讲师。研究方向为财务管理。E鄄mail:511805099 Research
4、 on Financial Fraud Investigation Technology in ListedCompanies Based on Transformer鄄style Convolutional NetworkLIU Shan1,摇 DENG Zhiwei2(1.Department of Business Administration,Anhui Vocational College of Grain Engineering,Hefei 231635,China;2.School of Instrumentation Science and Optoelectronic Eng
5、ineering,Hefei University of Technology,Hefei 230009,China)Abstract:Financial fraud of listed companies in the digital age has the characteristics of professionalism,concealment and intelligence.The main challenges for the financial fraud investigation in listed compa鄄nies are large data volumes,mul
6、tiple data sources,and complex data relationships.How to apply ad鄄vanced artificial intelligence(AI)technology for intelligent data mining and investigation of financialfraud is an urgent problem to be solved in economic investigation.Due to the potential dependence be鄄tween different features of th
7、e financial data,a transformer鄄style convolution neural network(TSCNN)isproposed to monitor and identify financial fraud in listed companies.This technology aims at the problemssuch as the incapability to model global feature dependencies due to the widespread use of small convolu鄄201刘摇 珊等:基于 Transf
8、ormer詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬风格卷积网络的上市公司财务造假侦查技术研究tional kernels of popular convolutional neural networks in deep learning.The self鄄attention mechanism intransformer architecture is able to capture global feature dependencies,and the embedded convolutionallayer of large convol
9、utional kernels encodes features weights to enhance the ability to perceive the featuredependency relationship.Moreover,TSCNN simplifies the operation of self鄄attention mechanism throughthe Hadamard product of linear complexity.The results show that the proposed investigation technologyoutperforms t
10、he existing popular ResNet and MLP algorithms for discriminating financial data of listedcompanies.This technology is an exploration of the application of artificial intelligence technology in eco鄄nomic investigation,and further improves the efficiency of case handling based on innovative upgrading
11、oftraditional economic investigation methods.Key words:listed companies;financial fraud;artificial intelligence;economic investigation0摇 引言上市公司定期公开财务信息能让投资者充分了解公司的情况,有利于资本市场的良好运行。然而,财务造假是长期困扰世界各国证券市场的难题。2021 年,证监会指出乐视 2007 年 2016 年存在十年财务造假,2010 年 2016 年年报存在虚假记载。美国的安然公司在几年内虚报 5郾 86 亿美元的利润。财务造假不仅给投资者带
12、来巨大损失,还给资本市场的发展带来严重的负面影响。此外,随着财务造假越来越严重,审计人员时间、精力、舞弊等限制已经难以满足监管需要。因此,如何通过上市公司相关财务信息,建立能够准确预测财务造假的机器学习模型,对完善资本市场监管、减少财务造假具有重要意义。现有的财务造假模型主要分为基于传统的机器学习方法和基于深度学习的方法。吕晨等人1首先采用主成分分析对上市公司财务数据进行特征提取,然后采用 Logistic 回归模型预测财务造假。Ravisankar 等人2采用多层前馈神经网络、支持向量机、遗传进化方法、数据分组方法、Logistic回归和概率神经网络用于 202 个中国上市公司的财务数据,并
13、比较了采用特征提取和不采用特征提取的效果,得出概率神经网络在不采用特征提取的情况下取得了最好的预测效果。由于预测财务造假问题是一个典型的数据不平衡问题,而传统的损失函数对此比较敏感,导致预测效果不理想。为此,张悦等人3从代价敏感学习的角度,通过最小化误分类成本损失函数预测财务造假。近年来,基于深度学习的方法通过端到端训练的方式实现自动特征提取和分类,从而实现了相较于传统方法更好的性能,因此深度学习方法也应用于财 务 造 假 预 测 任 务 中。蔡 景 波 等 人4采 用SMOTE 采样、过采样和欠采样方法解决数据不平衡问题,并将全连接网络、卷积神经网络和长短期记忆网络用于预测上市公司下一年是否
14、财务造假,预测结果具有一定的准确性和合理性。尽管财务造假领域取得这些发展,现有的主流模型忽略了显式建模局部特征间的相互依赖或相关性。流行的深度神经网络普遍应用小卷积核,模型感受野有限而难以获得全局特征间的依赖信息。本文引入卷积调制简化自注意力机制,建立了 Trans鄄former 风格的卷积模型来强化感知并捕获特征间依赖关系。1摇 相关工作深度学习是一种机器学习方法,通过深层网络的连续映射自动从原始数据中捕获可鉴别性的特征,被广泛应用于分类和回归等问题。近些年来,从卷积到 Transformer,神经网络模型架构一直在持续更新。1郾 1摇 卷积神经网络卷积神经网络作为深度学习主流的模型设计范式
15、,在各个任务的模式识别中取得了令人满意的效果。最早的标准卷积模型被用于手写字符识别,突出的性能并伴随十多年的发展使得卷积模型仍占据主流地位。标准的卷积神经网络模型通过堆叠多个由卷积层和池化层组成的基本块聚集感受野,自动提取特征中局部信息,捕获潜在的特征模式。早期的卷积模型存在梯度消失的问题,大多数模型的层数不超过 20 层。ResNet5的出现使得卷积模型的应用迈向成熟,通过引入快捷连301刘摇 珊等:基于 Transformer詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬风格卷积网络的上市公司财务造假侦查技术研究接,极大缓解了深层模型梯度消失
16、的问题,成为十分重要的骨干网络,在各个领域的模式识别中实现性能上的重大突破。1郾 2摇 TransformerTransformer 模型最初是为自然语言处理任务而设计的,如今已被广泛应用于视觉识别和文本识别等领域。如,视觉 Transformer(ViT6)模型中设计的自注意力机制能够捕获传统卷积网络所不具有的特征间的全局依赖关系,缓解了感受野不足的局限性,在计算机视觉领域取得了最先进的性能。早期的 Transformer 架构十分依赖大规模的数据训练,并由于自注意力机制中的二次复杂度计算,计算成本远高于卷积模型。近些年,学界受卷积模型中网络结构的诸多设计启发,将卷积与 Transforme
17、r 融合成为了必然的趋势。最近的一些研究7-8表明将Transformer 中自注意力机制融入卷积是一种有前途的方法,一方面能达到更稳定的训练效果并取得进一步的性能增益;另一方面通过减少大量的矩阵乘法可以极大降低模型计算成本。图 1摇 TSCNN 模型的总体架构图摇2摇 模型2郾 1摇 总体架构本文提出了一种 Transformer 风格的卷积神经网络模型(TSCNN),使用的卷积调制模块从 Trans鄄former 中自注意力机制的设计得到启发。通过多个1D 卷积映射和 Hadamard 积计算生成注意力权重矩阵,简化了注意力分数生成过程,更好地捕获数据特征间的相互依赖关系(如基本每股收益与
18、未分配利润之间相关性),取得了良好的性能。与流行的卷积设计范式类似,所提出的 TSCNN也采用了主流的金字塔架构,模型共有 2 个阶段,每个阶段都具有不同特征尺寸。TSCNN 使用完全的卷积来构造一个 Transformer 风格的卷积网络。模型输入为 1 伊 N,N 代表特征字段个数,这里为 30。模型先使用 Stem 块提取初步特征,再经过连续两个阶段的 3 个构建块建模特征间深层次映射关系,其中使用步幅和卷积核都为 2 的 1D 卷积来降低特征图尺寸。第一个阶段有 1 个构建块,第二个阶段使用了 2 个构建块,每个阶段的卷积调制模块被用来感知并强化特征间的联系,最后通过卷积池化层与线性分
19、类层得到模型预测财务是否为造假的标签,整体架构如图 1 所示。2郾 2摇 卷积调制模块受到中卷积调制模块设计的启发9,为上市公司财务数据设计了全新的卷积调制模块,替代传统自注意力机制模块。图 2 展示了 Transformer 模型中传统自注意力机制和卷积调制模块的区别。对于输入为 X沂RC 伊 N的数据,首先使用线性层映射得 Q,K,V(Q,K,V沂RC 伊 N),再计算得到注意力分数和模型输出:Attention(X)=Softmax(QKT)(1)Output=Attention(X)V(2)为方便表示,这里省略了比例因子。图 2(a)展示了上述传统自注意力机制计算处理流程,C 是401
20、刘摇 珊等:基于 Transformer詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬风格卷积网络的上市公司财务造假侦查技术研究图 2摇 传统自注意力机制与卷积调制区别摇上个卷积层输出的通道数。传统自注意力计算大量使用矩阵乘法,使得自注意力机制的计算复杂度呈二次复杂度(O(N2)。通过卷积调制操作可对 V 值进行调制,简化注意力分数计算。具体而言,给定输入 X沂RC 伊 N,我们使用核大小为 K 的深度卷积和点卷积通过 Hadamard 积来计算自注意力和输出:Attention(X)=W1(DWConv(X)(3)Output=Attentio
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Transformer 风格 卷积 网络 上市公司 财务 造假 侦查 技术研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。