深神经网络.pptx
《深神经网络.pptx》由会员分享,可在线阅读,更多相关《深神经网络.pptx(82页珍藏版)》请在咨信网上搜索。
1、深度神经网络IDeep Neural Networks中国科学院自动化研究所吴高巍2016-12-6内容深度神经网络发展历史、背景动机WhyDeepLearning?深度学习常用模型NeuralnetworkBackpropagation1986解决了一般性学习问题与生物系统相联系Nature历史NeuralnetworkBackpropagation1986Nature历史x1x2x3w1w2w3NeuralnetworkBackpropagation1986解决了一般性学习问题与生物系统相联系Nature历史ButitisgivenupSVMBoostingDecisiontree2006
2、NeuralnetworkBackpropagation1986Nature历史2006DeepbeliefnetScienceUnsupervised&Layer-wisedpre-trainingBetterdesignsformodelingandtraining(normalization,nonlinearity,dropout)NewdevelopmentofcomputerarchitecturesGPUMulti-corecomputersystemsLargescaledatabasesBig Data!Neuralnetworksiscomingback!深度学习浪潮ITC
3、ompaniesareRacingintoDeepLearningNeuralnetworkBackpropagation1986SolvegenerallearningproblemsTiedwithbiologicalsystemButitisgivenup2006DeepbeliefnetSciencedeeplearningresultsSpeech2011NatureObjectrecognitionover1,000,000imagesand1,000categories(2GPU)NeuralnetworkBackpropagation19862006DeepbeliefnetS
4、cienceSpeech20112012NatureA.Krizhevsky,L.Sutskever,andG.E.Hinton,“ImageNetClassificationwithDeepConvolutionalNeuralNetworks,”NIPS,2012.RankNameError rateDescription1U.Toronto0.15315Deeplearning2U.Tokyo0.26172Hand-craftedfeaturesandlearningmodels.Bottleneck.3U.Oxford0.269794Xerox/INRIA0.27058Neuralne
5、tworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012ImageNet2013imageclassificationchallengeRankNameError rateDescription1NYU0.11197Deeplearning2NUS0.12535Deeplearning3Oxford0.13555DeeplearningMSRA,IBM,Adobe,NEC,Clarifai,Berkley,U.Tokyo,UCLA,UIUC,Toronto.Top20groupsalluseddeeplearningImage
6、Net 2013 object detection challengeRankNameMean Average PrecisionDescription1UvA-Euvision0.22581Hand-craftedfeatures2NEC-MU0.20895Hand-craftedfeatures3NYU0.19400DeeplearningNeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012ImageNet2014ImageclassificationchallengeRankNameError rat
7、eDescription1Google0.06656Deeplearning2Oxford0.07325Deeplearning3MSRA0.08062DeeplearningImageNet2014objectdetectionchallengeRankNameMean Average PrecisionDescription1Google0.43933Deeplearning2CUHK0.40656Deeplearning3DeepInsight0.40452Deeplearning4UvA-Euvision0.35421Deeplearning5BerkleyVision0.34521D
8、eeplearningNeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012GoogleandBaiduannouncedtheirdeeplearningbasedvisualsearchengines(2013)Google“onourtestsetwesawdouble the average precision whencomparedtootherapproacheswehadtried.Weacquiredtherightstothetechnologyandwentfullspeedaheada
9、daptingittorunatlargescaleonGooglescomputers.Wetookcuttingedgeresearchstraightoutofanacademicresearchlabandlaunchedit,injustalittleoversixmonths.”BaiduNeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012Facerecognition2014Deeplearningachieves99.53%faceverificationaccuracyonLabeledF
10、acesintheWild(LFW),higherthanhumanperformanceY.Sun,X.Wang,andX.Tang.DeepLearningFaceRepresentationbyJointIdentification-Verification.NIPS,2014.Y.Sun,X.Wang,andX.Tang.Deeplylearnedfacerepresentationsaresparse,selective,androbust.CVPR,2015.深度学习浪潮DeepLearning深度学习浪潮时代背景-数据爆炸还存在很多没有良好解决的问题,例如图像识别、语音识别、自然
11、语言理解、天气预测、基因表达、内容推荐等。深度学习浪潮时代背景-计算性能提升动机WhyDeepLearning?深度学习WhatisDeepLearning?“Deeplearningisasetofalgorithmsinmachinelearningthatattempttolearninmultiplelevels,correspondingtodifferentlevelsofabstraction.Ittypicallyusesartificialneuralnetworks.Thelevelsintheselearnedstatisticalmodelscorrespondtodi
12、stinctlevelsofconcepts,wherehigher-levelconceptsaredefinedfromlower-levelones,andthesamelower-levelconceptscanhelptodefinemanyhigher-levelconcepts.”(Oct.2013.)“Deeplearningisasetofalgorithmsinmachinelearningthatattempttomodelhigh-levelabstractionsindatabyusingmodelarchitecturescomposedofmultiplenon-
13、lineartransformations.”(Aug.2014)传统机器学习解决这些问题的思路良好的特征表达,对最终算法的准确性起了非常关键的作用,而且系统主要的计算和测试工作都耗在这一大部分。但实际中一般都是人工完成的。特征表达能不能自动地学习一些特征呢?能!DeepLearning生物学启示人脑视觉机理“视觉系统的信息处理”:可视皮层是分级的神经-中枢-大脑的工作过程,或许是一个不断迭代、不断抽象的过程。关键词:一个是抽象,一个是迭代。从原始信号,做低级抽象,逐渐向高级抽象迭代。人类的逻辑思维,经常使用高度抽象的概念。不同水平的抽象层次化表示脑的深层结构whygodeep?深层结构能够有
14、效被表达对相同的函数需要更少的计算单元深层结构可产生层次化特征表达允许非局部扩展可解释性多层隐变量允许统计上的组合共享深层结构有效(vision,audio,NLP等)!ComputerVisionFeaturesAudioFeaturesDeepLearning基本思想自动地学习特征假设有一堆输入I(如图像或者文本),我们设计了一个系统S(有n层),通过调整系统中参数,使得它的输出仍然是输入I,那么我们就可以自动地获取得到输入I的一系列层次特征,即S1,,Sn。对于深度学习来说,其思想就是堆叠多个层也就是说这一层的输出作为下一层的输入。通过这种方式,就可以实现对输入信息进行分级表达了。可以略
15、微地放松“输出等于输入”的限制深层vs浅层神经网络多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类深层网络结构中,高层可以综合应用低层信息低层关注“局部”,高层关注“全局”、更具有语义化深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wisepre-training)来有效克服。为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型深层vs浅层神经网络“深度模型”是手段,“特征学习”是目的。强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点;明确突出了特征学习的重要性,也就是说,通过逐层特征变换,将样本
16、在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。BP算法的问题需要带标签训练数据几乎所有的数据是无标签的人脑可以从无标签数据中学习局部极小对深层网络远离了最优解学习时间不适合大数据梯度消失Belowtopfewlayers,correctionsignalisminimal克服BP的限制梯度方法对输入的结构建模建立产生输入的生成式模型,调整参数使得生成式模型的概率最大Learnp(image)notp(label|image)Whatkindofgenerativemodelshouldwele
17、arn?Deeplearning训练自下向上的非监督学习(greedylayer-wisetraining)自顶向下的监督学习就是通过带标签的数据去训练,误差自顶向下传输,对网络进行微调微调特征(中间层),使得与问题更相关。DeepLearning的常用模型AutoEncoder自动编码器AutoEncoder自动编码器DeepLearning最简单的一种方法利用人工神经网络本身的层次结构特点如果给定一个神经网络,假设其输出与输入是相同的,然后训练调整其参数,得到每一层中的权重。自然地,就得到了输入I的几种不同表示(每一层代表一种表示),这些表示就是特征。自动编码器就是一种尽可能复现输入信号的
18、神经网络。为了实现这种复现,自动编码器就必须捕捉可以代表输入数据的最重要的因素,就像PCA那样,找到可以代表原信息的主要成分AutoEncoder自动编码器学习过程无标签数据,用非监督学习学习特征在之前的前向神经网络中,如左图,输入的样本是有标签的,即(input,target),这样根据当前输出和target(label)之间的差去改变前面各层的参数,直到收敛。但现在我们只有无标签数据,也就是右边的图。那么这个误差怎么得到呢?AutoEncoder自动编码器将input输入一个encoder编码器,就会得到一个code,这个code也就是输入的一个表示那么我们怎么知道这个code表示的就是i
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【w****g】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【w****g】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。