《深度学习》课件 第7章 深度学习在图像中的应用.pdf

深度学习BIGDATA全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用第七章深度学习在图像中的应用7.1图像识别基础70基于深度学习的大规模图像识别7:3应用举例：人脸识别7.4 迪用茎例二图像风格化7.5 史用举例，图像标注习题7.1图像识别基础第七章深度学习在图像中的应用garden,spring,bridge,water,trees,flower,green,etc.7.1图像识别基础第七章深度学习在图像中的应用2.计算机对图像进行识别的难点对于一张自然场景图像，我们人眼看到的会是左边这张生动的图像；而对于计算 机而言，看到的确是一堆枯燥的数字（这些数字对应的是图像各像素点的灰度等特 征值）。如何在像素点的特征值和图像语义之间进行处理和关联是计算机进行图像 识别的一大难题。二二二i Li urc Montpame人眼所见的图像EBtllEtZlIZlESEEHESEBSSEBESHEEUSSElEHEEQESSE计算机所见的图像全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用第七章深度学习在图像中的应用72图像迟别基础7.2 基于深度学习的大规模图像识别7.3 应用举例：人脸识别7.4 迪用茎例二图像风格化7.5 史用举例，图像标注习题 7.2基于深度学习的大规模图像识别第七章深度学习在图像中的应用1.大规模图像数据库：ImagenetImageNet由美国斯坦福大学Li Fei-fei教授的研究团队提出,是一个很大规模的 数据库，包含超过一千五百万具有标签的高清图像，这些图像可以分成约两万两千 个类别。这些图像均从网络中采集而得；并使用亚马逊的土耳其机器人众包工 具，集广大网民的力量手工标注获得图像对应的标签。ILSVKCflamingo cock rutted grouse quail partridgeEgyptian cat Persian cat Siamese cat tabby lynxdalmatian keeshond miniature schnauzer Standard schnauzer giant schnauzer 7.2基于深度学习的大规模图像识别第七章深度学习在图像中的应用2.AlexNet网络结构AlexNet总共包含8个学习层：前5层是卷积层，最后3层是全连接层。在这5个 卷积层中，第1、2、5层后面有最大值池化(Max pooling)层。48 7.2基于深度学习的大规模图像识别第七章深度学习在图像中的应用3,非线性激活函数ReLUAlexNet中，使用ReLU激活函数来替代Sigmoid激活函数。相比较于Sigmoid 激活函数而言：（1）ReLU激活函数在大于0的部分梯度为常数，不会出现梯度弥 散现象；（2）ReLU激活函数在小于0的部分梯度都为0,可以在一定程度上缓解过 拟合现象的发生；（3）ReLU激活函数的导数计算非常简单快速 7.2基于深度学习的大规模图像识别第七章深度学习在图像中的应用4.增加训练样本增加训练样本，又称为数据增强(data augmentation),通过对图像进行变 换人为地扩大训练数据集。该方法是减少过拟合现象的一个最容易和最普遍的方法 o常见数据增强方法：L随机裁剪和水平翻转；2、颜色调整(a)随机裁剪(b)水平翻转-平移旋转-拉伸(d)其他(c)颜色琳：T柩 7.2基于深度学习的大规模图像识别第七章深度学习在图像中的应用5.dropout技术在网络训练期间，dropout技术相当于是对整体神经网络进行子采样。具体实现 方法为：以50%的概率将神经网络中每一个隐层结点的输出设置为0，使之不参与 前向传播和反向传播。全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用第七章深度学习在图像中的应用72图像迟别基础70基于深度学习的大规模图像迟别7.3 应用举例：人脸识别7.4 迪用茎例二图像风格化7.5 史用举例，图像标注习题7.3应用举例：人脸识别第七章深度学习在图像中的应用1.人脸识别的经典流程在自然场景中进行自动人脸识别的经典流程一般分为以下三个步骤：人脸检测(face recognition).人脸对齐(face alignment,又称作面部特征点对齐)、特征提 取和分类器设计7.3应用举例：人脸识别第七章深度学习在图像中的应用2.人脸图像数据库LFW(Labeled Faces in the Wild)数据库是自然场景环境下人脸识别问题的测 试基准，是目前用得最多的自然场景人脸图像数据库。该数据库中的图像来源于因 特网，采集的是自然场景环境下的人脸图像，目的是提高自然场景环境下人脸识 的准确率。这个数据库包含5749个人,共13233幅图像。7.3应用举例：人脸识别第七章深度学习在图像中的应用3,基于深度学习的人脸识别方法DeepFace方法的贡献主要包括两点：一是基于3D模型对人脸进行对齐；二是 使用大数据训练深层的人工神经网络，得到具有判别性的人脸特征。Detection Uoialkilion*Z 0 P 卜Z UJ(/I UJ*全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用第七章深度学习在图像中的应用72图像迟别基础70基于深度学习的大规模图像迟别7.3 应用举例：人脸识别7.4 应用举例：图像风格化7.5 史用举例，图像标注习题 7.4应用举例：图像风格化第七章深度学习在图像中的应用1.内容重构下图中所得到的五个内容重构结果分别基于VGG模型中的convl层,/conv2_l/层(b),conv3_l层(c),conv4_l层(d)和conv5_l层(e)o7.4应用举例：图像风格化第七章深度学习在图像中的应用2,风格重构通过计算卷积神经网络在某一层各特征图之间的相关性对图像的风格进行重构，可以得到一个相对应的风格表示图。为了生成与给定图的风格相匹配的纹理图像，Gatys等人首先初始化一个白噪声图像，接着使用梯度下降法来寻找与原图的风格 表示相匹配的图像，得到在该层风格重构的生成图像。上页图中所得到的五个风格 重构结果分别基于VGG模型中的convl层(a),/convl_l，和conv2_l 层(b),convlJL、/conv2_l/和conv3_l层(c),convl、/conv2_l/、conv3_l，和conv4_1 层(d),convl、/conv2_l/、conv3_l、conv4_l而conv5_l层对风格表示进行匹配而得。7.4应用举例：图像风格化第七章深度学习在图像中的应用3,内容与风格的重组下图中第A行显示的是与VGG模型中convl层风格重构相匹配的结果,第 B行显示的是与VGG模型中convl和/conv2_l，层风格重构相匹配的结果，第C行显示的是与VGG模型中convl、/conv2_l/和conv3_l层风格重 构相匹配的结果，第D行显示的是与VGG模型中convlJL、/conv2_l，./conv3_l，和conv4层风格重构相匹配的结果，第E行显示的是与VGG模型 中convl、/conv2_l/、conv3_l、conv4_l和conv5_l层风 格重构相匹配的结果。全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用第七章深度学习在图像中的应用72图像迟别基础70基于深度学习的大规模图像迟别7.3 应用举例：人脸识别7.4 应用举例：图像风格化7.5 应用举例：图像标注习题7.5应用举例：图像标注第七章深度学习在图像中的应用1.基于深度网络的图像标注方法概述图像标注是由计算机以说明或关键词的形式分配语言数据给一张图像的过程。娄攵盛岸:包含匡M象禾口又寸应文本寺苗述3)3A Tabby cat is leaning on a wooden tab/e,with one pa w on a/aser mocjSG and the other on a black laptop”又寸 齐木莫型=匡M象居士或禾口金:本月F殳旬白勺无t 应关察3)“Tabby cat is leaning“laser mouse”paw”“b/ack laptop”“wooden table”生成像型：汨亲斤国H象目云力生成又寸应白勺文本手苗送泡U LC|冬I修(c).office telephone”s/7/cy laptop”Tabby cat is sleeping”-W“wooc/ec office desk”“messy pile of documeets图像标注流程7.5应用举例：图像标注第七章深度学习在图像中的应用2.视觉语义对齐视觉和语义的对齐模型主要由三个部分组成视觉表示语义表示视觉语义对齐构造卷积神经网路(Convolution Neural Network,CNN),用于表示图 像区域构造双向循环神经网 络(Bidirectional Recurrent Neural Networks),用于表 示语句构造结构化的目标函 数，使用多模态嵌入方 法将图像区域与语义进 行对齐7.5应用举例：图像标注第七章深度学习在图像中的应用3为新图像生成对应文本描述假定我们有一些图像和相关语句描述的集合，这些集合可以是整幅的图像和相 关的语句描述，也可以是图像区域和相关的语句片段。主要的挑战是设计一个模型,使之可以根据给定的新图像预测相对应的文本描述START straw hat多模态循环神经网络M RN N的流程图习题：1.传统的图像识别由哪两个经典步骤组成？2.传统的图像识别与基于深度学习的图像识别之间的主要区别是什么？3.最早用于图像识别并取得突破性进展的深度网络是什么网络？它由多少卷积层 和多少全连接层构成？4.Sigmoid激活函数和ReLU激活函数的公式分别是什么？ReLU激活函数具有哪 些优点？5.常用的数据增强方法有哪些？AlexNet中使用了哪些数据增强方法？感谢聆听