卷积沙漏CRF基础.pptx

主要内容主要内容卷积神经网络卷积神经网络Stacked Hourglass算法算法Conditional Random Field 卷积神经网络卷积神经网络卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC(1)卷积层：用它来进行特征提取，如下：输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3的filter(感受野)，这里注意：感受野的深度必须和输入图像的深度相同。通过一个filter与输入图像的卷积可以得到一个28*28*1的特征图，上图是用了两个filter得到了两个特征图；卷积神经网络卷积神经网络输入图像和filter的对应位置元素相乘再求和，最后再加上b,得到特征图。如图中所示，filterw0的第一层深度和输入图像的蓝色方框中对应元素相乘再求和得到0，其他两个深度得到2，0，则有0+2+0+1=3即图中右边特征图的第一个元素3.，卷积过后输入图像的蓝色方框再滑动，stride=2，如下：卷积神经网络卷积神经网络如上图，完成卷积，得到一个3*3*1的特征图；在这里还要注意一点，即zeropad项，即为图像加上一个边界，边界元素均为0.（对原输入无影响）一般有F=3=zeropadwith1F=5=zeropadwith2F=7=zeropadwith3,边界宽度是一个经验值，加上zeropad这一项是为了使输入图像和卷积后的特征图具有相同的维度，如：输入为5*5*3，filter为3*3*3，在zeropad为1，则加上zeropad后的输入图像为7*7*3，则卷积后的特征图大小为5*5*1（7-3）/1+1），与输入图像一样；而关于特征图的大小计算方法具体如下：卷积神经网络卷积神经网络卷积层还有一个特性就是“权值共享”原则。如下图：如没有这个原则，则特征图由10个32*32*1的特征图组成，即每个特征图上有1024个神经元，每个神经元对应输入图像上一块5*5*3的区域，即一个神经元和输入图像的这块区域有75个连接，即75个权值参数，则共有75*1024*10=768000个权值参数，这是非常复杂的，因此卷积神经网络引入“权值”共享原则，即一个特征图上每个神经元对应的75个权值参数被每个神经元共享，这样则只需75*10=750个权值参数，而每个特征图的阈值也共享，即需要10个阈值，则总共需要750+10=760个参数。卷积神经网络卷积神经网络激活层：把“激活的神经元特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。激活函数是用来加入非线性因素的，因为线性模型的表达力不够。对于图像，我们主要采用了卷积的方式来处理，也就是对每个像素点赋予一个权值，这个操作显然就是线性的。但是对于我们样本来说，不一定是线性可分的，为了解决这个问题，我们可以进行线性变化，或者我们引入非线性因素，解决线性模型所不能解决的问题。Relu函数可构建稀疏矩阵，具有稀疏性，这个特性可以去除数据中的冗余，最大可能保留数据的特征，也就是大多数为0的稀疏矩阵来表示。它就是取的max(0,x)，因为神经网络是不断反复计算，实际上变成了它在尝试不断试探如何用一个大多数为0的矩阵来尝试表达数据特征，所以目前大部分的卷积神经网络中，基本上都是采用了ReLU函数。卷积神经网络卷积神经网络池化层：对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征，如下：卷积神经网络卷积神经网络池化操作一般有两种，一种是AvyPooling,一种是maxPooling,如下：同样地采用一个2*2的filter,maxpooling是在每一个区域中寻找最大值，这里的stride=2,最终在原特征图中提取主要特征得到右图。（Avypooling现在不怎么用了，方法是对每一个2*2的区域元素求和，再除以4，得到主要特征），而一般的filter取2*2,最大取3*3,stride取2，压缩为原来的1/4.注意：这里的pooling操作是特征图缩小，有可能影响网络的准确度，因此可以通过增加特征图的深度来弥补。卷积神经网络卷积神经网络全连接层：连接所有的特征，将输出值送给分类器（如softmax分类器）。总的一个结构大致如下：另外：CNN网络中前几层的卷积层参数量占比小，计算量占比大；而后面的全连接层正好相反，大部分CNN网络都具有这个特点。因此我们在进行计算加速优化时，重点放在卷积层；进行参数优化、权值裁剪时，重点放在全连接层。卷积神经网络卷积神经网络关于卷积的过程图解如下：使用全卷积网络解决人体姿态分析问题，截至2016年5月，在MPII姿态分析竞赛中暂列榜首，PCKh（误差小于一半头高的样本比例）达到89.4%。与排名第二的CPM(ConvolutionaPoseMachine)1方法相比，思路更明晰，网络更简洁。卷积神经网络卷积神经网络之优缺点之优缺点优点优点共享卷积核，对高维数据处理无压力无需手动组合特征，训练好权重，即得特征分类效果好缺点缺点需要调参，需要大样本量，训练最好要 GPU物理含义不明确 卷积神经网络之卷积神经网络之应用应用 图像识别卷积神经网络之卷积神经网络之应用应用 图像检索Stacked Hourglass算法算法模块化Residual模块第一行为卷积路，由三个核尺度不同的卷积层（白色）串联而成，间插有BatchNormalization和ReLU；第二行为跳级路，只包含一个核尺度为1的卷积层；如果跳级路的输入输出通道数相同，则这一路为单位映射。所有卷积层的步长为1，pading为1，不改变数据尺寸，只对数据深度（channel）进行变更。Stacked Hourglass算法算法ResidualModule由两个参数控制：输入深度M和输出深度N。许多网络已经隐含了模块化的思想，例如AlexNet中重复出现的conv+relu+pool模式。作用：Residual模块提取了较高层次的特征（卷积路），同时保留了原有层次的信息（跳级路）。不改变数据尺寸，只改变数据深度。可以把它看做一个保尺寸的高级“卷积”层。Hourglass子网络子网络Hourglass子网是核心部件，由Residual模块组成。根据阶数不同，有不同的复杂程度。Stacked Hourglass算法算法一阶Hourglass上下两个半路都包含若干Residual模块（浅绿），逐步提取更深层次特征。但上半路在原尺度进行，下半路经历了先降采样（红色/2）再升采样（红色*2）的过程。降采样使用maxpooling，升采样使用最近邻插值。Stacked Hourglass算法算法二阶Hourglass把一阶模块的灰框内部分替换成一个一阶Hourglass（输入通道256，输出通道N），得到二阶Hourglass：两个层次的下半路组成了一条两次降采样，再两次升采样的过程。两个层次的下半路则分别在原始尺寸（OriSize）和1/2原始尺寸，辅助升采样。Stacked Hourglass算法算法四阶Hourglass本文使用的是四阶Hourglass：每次降采样之前，分出上半路保留原尺度信息；每次升采样之后，和上一个尺度的数据相加；两次降采样之间，使用三个Residual模块提取特征；两次相加之间，使用一个Residual模块提取特征。作用：n阶Hourglass子网络提取了从原始尺度到1/2n尺度的特征。不改变数据尺寸，只改变数据深度。Stacked Hourglass算法算法完整网络结构完整网络结构一级网络以一个Hourglass（深绿色）为中心，可以从彩色图像预测K个人体部件的响应图：原始图像经过一次降采样（橙色），输入到Hourglass子网络中。Hourglass的输出结果经过两个线性模块（灰色），得到最终响应图。期间使用Residual模块（浅绿）和卷积层（白色）逐步提取特征。Stacked Hourglass算法算法二级网络使用的完整网络包含两个Hourglass：对比上图，二级网络重复了一级网络的后半结构。第二个Hourglass的输入包含三路：-第一个Hourglass的输入数据-第一个Hourglass的输出数据-第一级预测结果 这三路数据通过串接（concat）和相加进行融合，它们的尺度不同，体现了当下流行的跳级结构思想。Stacked Hourglass算法算法总结总结思想如下：-使用模块进行网络设计-先降采样，再升采样的全卷积结构-跳级结构辅助升采样-中继监督训练Conditional Random Field算法算法CRF做的则是全局的归一化条件随机场条件随机场（conditionalrandomfield，简称 CRF），是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。如同马尔科夫随机场，条件随机场为无向性之图模型，图中的顶点代表随机变量，顶点间的连线代表随机变量间的相依关系，在条件随机场当中，随机变量 Y的分布为条件机率，给定的观察值则为随机变量 X。原则上，条件随机场的图模型布局是可以任意给定的，一般常用的布局是链结式的架构，链结式架构不论在训练（training）、推论（inference）、或是解码（decoding）上，都存在有效率的算法可供演算。条件随机场跟隐藏式马可夫模型常被一起提及，条件随机场对于输入和输出的机率分布，没有如隐藏式马可夫模型那般强烈的假设存在。谢谢！