一种应用于电视机图像处理的肤色增强算法的设计与实现-PPT课件.pptx

一种应用于电视机图像处理的肤色增强算法的设计与实现1学生姓名 蔡圣豪 学 号 1121470 指导教师 向伟 学 院 机电学院专 业 电子科学与技术2摘要图像处理就是数字图像处理，数字化后的图像可以堪称是存储起来的有序数据，可以通过对数字图像进行处理。我们把利用计算机对图像进行去除、增强、复原等方法技术成为数字图像处理。图像处理技术拥有处理精度高，再现性好，处理的多样性，图像处理技术综合性强等特点。通过图像处理技术，可以提高图像的视感质量，以达到赏心悦目的；提取图像中所包含的某些特征信息；对图像数据进行变换、编码、压缩等方法，以便图像的存储和运输，来帮助我们满足视觉、心理或应用上的需求。本文以一套算法为核心，通过识别人脸并调整皮肤颜色的CbCr值来实现电视机里图像处理使肤色增强。3绪论电视机的发展现状目前数字电视占据着市场的主要地位，所谓数字电视(Digital TV)指从电视节目采集、制作、存储、播出到发射、传输、接收全部采用数字编码与数字传输技术的新一代电视系统。由此可见，数字电视不仅仅指我们日常所用的电视机，数字电视机只是数字电视的终端接收设备。数字电视技术与原有的模拟电视相比，有着其无法比拟的优点，数字设备输出信号稳定可靠，易于实现信号的存储，便于数字处理和计算机处理，并且可以合理地利用各种类型的频谱资源，实现各种设备的自动化和多样化操作等等。4绪论肤色增强的影响评价数字图像的优劣的参考依据是由人眼主观判断和经验知识作用为主导，并不是一个通用客观的标准。人们在看电视时，一方面希望显示器能够还原自然界的真实色彩，但真实的色彩并不一定满足人们的需求，另一方面由希望显示的色彩符合心理的色彩喜好。特别是电视剧中人们的肤色问题，每个人对于肤色的喜好度是不同的，有的人喜欢更白一些的肤色，有些偏好稍微偏深一些的肤色，另外的则忠于原来的肤色。通过图像中肤色检测和增强，使图像中人物的皮肤变得圆润有光泽。另外，对图像亮度、色度、对比度、饱和度的调整也可以使图像的质量更高，看起来画面更加舒服，人们可以根据自己的喜好来调整皮肤颜色。增强肤色不仅可以在视觉上使人愉悦，也可以在心理上影响人们。5绪论图像增强的现状目前对于图像处理的方案主要由以下几种：（1）通用计算机（2）并行处理（3）专业集成电路（4）数字信号处理器（5）现场可编程门阵列6视频信号基础视频信号制式目前世界上主流的彩色信号制式可分三种，分别为NTSC制式、PAL制式和SECAM制式。它们具有不同的编码方式、传送频率和刷新速度。PAL制式是我国所采用的标准。PAL制式电视信号由图像信号、复合同步信号、复合消隐信号构成。复合消隐信号的作用是消除显像管在行、场扫描逆过程中产生的回扫线，避免干扰图像信号。复合同步信号分为行同步信号和场同步信号，确保接收和发送两端扫描的同步。这三种信号复合构成一个完整的电视信号。PAL制式中采用的扫描方式是隔行扫描，即一帧图像分两次扫描，得到的两幅图像分别称作奇数场和偶数场。PAL制式采用了YUV的色彩空间。7视频信号基础 YUV和YCbCr色彩空间YUV 是被欧洲电视系统所采用的一种颜色空间（即一种彩色编码方法）。在现代彩色电视系统中，通常采用红绿蓝三管彩色摄影机进行取像，然后把获得的模拟彩色图像信号经分色、信号放大、校正后得到 RGB，再经过矩阵变换电路得到亮度信号 Y 和两个色差信号 U 和 V（U=RY、V=BY），最后将亮度 Y 和色差 U、V 三个信号分别进行编码，转换成数字信号后从同一信道发送出去。8视频信号基础YUV和YCbCr色彩空间YCbCr 颜色空间是由 YUV 颜色空间派生的一种颜色空间，是 YUV 颜色空间压缩和偏移后的版本。其中 Y 与 YUV 中的 Y 含义一致；Cb，Cr 同样都指色度，只是表示方法不同。YCbCr 的应用领域很广泛，JPEG、MPEG 等均采用此格式。一般人们所讲的 YUV 通常是指 YCbCr。YCbCr 有许多采样格式，主要的采样格式有 YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中 YCbCr 4:2:2 比较常用，其含义为：每个点保存一个 8 位的亮度值（也就是 Y 值），每 2 个点保存一个 8 位的色度值（Cb 和 Cr 分别为 8 位大小），图像在肉眼中的感觉不会起太大的变化。所以，原来用 RGB(R，G，B 都是 8 位大小，数值范围是 0255)模型，每个点需要 83=24bits，而现在仅需要 8+(8/2)+(8/2)=16bits。这样就把图像数据压缩了。9视频信号基础YUV和YCbCr色彩空间YCbCr 和 RGB 是可以相互转换的，转换公式如下：10视频信号基础ITU-R BT.656协议简介ITU-R Recommendation BT.656 是一种简单的数字视频协议，用于将未压缩的PAL 或 NTSC 制式（625 行或者 525 行）的信号进行编码。ITU-R BT.656 协议定义了一个并行的硬件接口，用来传送一路 4:2:2 的 YCbCr 的数字视频流数据。视频流数据的分辨率为 720576 像素的 d1 格式，行、场同步信号嵌入在数据流中。ITU-R BT.656 有 8 位或 10 位的数据传输格式，目前主要使用的是 8 位的数据传输格式。但是在本文设计中所采用的是10位数据传输格式。11图像增强技术数字亮度瞬态增强DLTI由于信号在传输过程中有噪声的存在，会造成一定的损失，除了图像中、高频分量减弱外，还会降低图像质量的表现，例如图像轮廓模糊、层次不清边界过度不明显。如图所示。12图像增强技术数字亮度瞬态增强DLTIY1、Y2代表两个不同的亮度值，点A为Y1的边界点，点B为Y2的边界点，从A点经过O点逐渐上升到B点的这一段称为亮度信号的过渡带。这一过渡带的大小直接影响到图像的画质。过渡带越窄，图像中两种亮度的边界就越清楚，图像越清晰。而在实际接收到的电视信号中，这一过渡带通常是较宽的，造成图像层次不鲜明。数字亮度瞬态增强(Digital Luminance Transient Improvement，简称DLTI)算法便是检测亮度分量水平方向的过渡带并使过渡带变窄，边缘变陡，增强图像的瞬态特性，使图像边界轮廓变清晰。理想情况下可将过渡带缩短成垂直边缘，如图中的COD所示。13图像增强技术数字色度瞬态增强DCTI数字色度瞬态增强(Digital Color Transient Improvement，简称DCTI)就是对色差信号(Cb、Cr)进行瞬态特性改良，使色度信号的过渡带变窄、边缘变陡，从而增加彩色的清晰度。DCTI的原理与DLTI一样，所不同的只是DLTI对亮度分量进行处理，而DCTI是对色度分量进行处理。在YCbCr空间中，DCTI是使Cb、Cr信号的边缘变陡。DCTI也可通过移位替代法或叠加勾边法实现。14图像增强技术图像边缘锐化ES视频信号传输中由于多种多样的原因，肯定会造成不同程度的中频和高频信号的衰减，进而视频图像的清晰度都会有所降低，视频图像也变得比原始的图像糊糊。而边缘锐化的主要目的是检测视频图像中的中高频信号，并夸张突出它们，进而使视频图像的细节更突出，当然也就是使图像更清晰。在图像锐化这一块所要做的主要工作就是带通和高通滤波的构造，以及对中频和高频信号的增益系数的设计，这也是算法成功与否的关键。15图像增强技术黑电平扩展BLE黑电平扩展技术只对亮度分量进行处理。在数字信号域中，其处理方法是：预先设定一个阀值(THR)，将它与图像的亮度信号比较，将低于这个阀值的信号取出以进行黑电平扩展，扩展的具体方法是用原信号减去阀值得到一个差值，将差值乘以一个小于1的增益，得到增益处理后的亮度信号，再与原始信号相加，得到最终输出，16图像增强技术白电平扩展WLE白电平扩展(White1evel Expansion，简称WLE)与黑电平扩展相似，不同的是它扩展的是白电平部分。它的作用是增强亮度的“浅白”信号，保持黑电平不变，使“浅白”变得更白，从面提高图像的对比度，传输函数如下：17图像增强技术肤色补偿FTC人对人体的肤色区域比较敏感，当色调调整对其他颜色调整得效果比较好时，仍容易觉得肤色区域色彩不自然。肤色校正(Flesh Tone Correction，FTC)的功能便是专门针对肤色对色度信号进一步的调整，使人体皮肤看起来更加自然。因此，肤色校正包含两个步骤：肤色区域分割及肤色校正。研究表明，尽管不同种族、不同年龄、不同性别的人体肤色看上去不同，但是这种不同主要集中在亮度上，在去除亮度的色度空间中，不同人的肤色都集中分布在一定的范围内。这个区域范围与所采用的色彩空间有关。大量研究数据表明，在YUV（YCbCr）色彩空间中当77Cb127且133Cr173时，为肤色区间。当确定肤色区间后，根据设定的参数，对Cb和Cr的值进行补偿，即可完成肤色校正。18图像增强技术亮度、对比度调整BCA在YCbCr色彩空间中，亮度、对比度调整对亮度分量Y进行处理。图像的对比度是指图像中最亮区域与最暗区域的亮度比值。对比度越高，能够表现的灰度层次和色彩层次越丰富，图像越清晰醒目，而对比度小，会让整个画面都灰蒙蒙的。对比度拉伸的思想是提高图像处理时灰度级的动态范围，常用的调整对比度的方法有幂次变换、分段线性变换、直方图处理等。19图像增强技术色度、饱和度调整HAS色调和饱和度只处理色度信号，对于YCbCr信号，只针对输入的Cb、Cr信号进行色调和饱和度调整。色调由光的波长决定，不同波长的光代表不同的色调，它们之间也可能互相配合而产生新的色调。色饱和度是指颜色的深浅程度。它与彩色光中所含白色的比例有关。白色的比例越多，色饱和度越低；白光的比例越小，色饱和度越高。通过分别在Cb、Cr信号上乘以一个可调的常数来控制调整色度和饱和度。20FPGA设计方法层次化设计中自顶向下的结构示意图21FPGA设计方法FPGA开发流程22图像增强模块整体设计功能描述图像增强模块主要用于数字电视系统图形后处理设计。电视观众对于图像质量的需求，往往是希望观看的图像明亮、清晰、背景噪声小、黑白层次得当，并富有轻微的立体感。但是模拟信号在传输过程中不可避免的高频分量会损失，造成的后果就是图像轮廓模糊，层次不清。如果一幅图像能够将其轮廓勾画清楚，往往可以给人留下深刻的印象，对提高图像质量起到事半功倍的效果。所以在数字电视系统中需要通过图形增强的处理，通过数字亮度、色度瞬态增强（DLTI、DCTI）以及图像锐化（SHARPER）将图像轮廓勾画清楚，通过黑白电平延伸（BLE、WLE）将图像明暗层次更加鲜明，通过图像中肤色检测和增强，使图像中人物的皮肤变得圆润有光泽。另外，对图像亮度、色度、对比度、饱和度的调整也可以使图像的质量更高，看起来画面更加舒服。23图像增强模块整体设计设计环境整个模块的设计是在Altera公司的Quartus II 14.0下进行的，模块的仿真验证是在Mentor公司的ModelSim SE 10.2c下进行的。本设计选用Altera公司的Cyclone IV E系列的EP4CE10F17C8来完成参考设计。该芯片采用65nm的工艺结构，包含10320的逻辑单元（Logic Element，LE），共256个引脚，其中用户引脚（User I/Os）为180个，Block RAM大小为423936bit，即46个M9K资源，2个PLL锁相环，10个全局时钟管脚，速度等级为8。最后通过Quartus II 14.0完成逻辑的编译和综合以及布线布局，生成了静态时序分析报告和系统整体设计报告。24图像增强模块整体设计功能框图25图像增强模块整体设计（1）亮度瞬态增强电路，用于恢复图像亮度信号的高频分量，使过渡带变窄，边缘变陡。（2）色度瞬态增强电路，用于恢复图像色度信号的高频分量，使图像色度信号的边缘变陡，从而增加彩色的清晰度。（3）图像边缘锐化电路，用于检测图像边缘信号，使图像更加清晰。（4）黑白电平延伸电路，用于拉伸图像对比度，使图像黑白分明，更具有层级感。（5）肤色补偿电路，用于检测图像中肤色区域，并做出颜色补偿，使人物肤色更圆润。（6）对比度、亮度调整电路，用于调节图像的对比度与亮度。（7）色度、饱和度调整电路，用于调节图像的饱和度与色彩度。（8）颜色空间转换电路，用于将YCbCr数据转换到RGB数据输出。（9）MCU控制接口逻辑电路，采用SPI总线协议，用于访问内部自定义寄存器，设定图像增强相关参数。26图像增强模块整体设计输入接口时序27图像增强模块整体设计输出接口时序28肤色增强的FPGA实现电路架构29肤色增强的FPGA实现模块框图30肤色增强的FPGA实现引脚列表信号名称信号名称类型型位位宽功能描述功能描述ie_clkI1系统时钟信号ie_rst_nI1系统复位信号ie_vsync_inI1垂直同步信号输入信号，指示帧启始。ie_hsync_inI1水平同步信号输入信号，指示行启始ie_datavaild_inI1数据有效输入信号，表明当前输入数据有效。ie_ftc_disI1肤色增强模块使能信号，低电平有效，高电平不调整ftc_cb_adjI6调整Cb色差信号的幅度，用6bit表示，共64级ftc_cb_maxI10设定Cb色差信号的肤色范围的最大值，用于判断肤色区域ftc_cb_minI10设定Cb色差信号的肤色范围的最小值，用于判断肤色区域ftc_cr_adjI6调整Cr色差信号的幅度，用6bit表示，共64级ftc_cr_maxI10设定Cr色差信号的肤色范围的最大值，用于判断肤色区域ftc_cr_minI10设定Cr色差信号的肤色范围的最小值，用于判断肤色区域ftc_cbcr_inI10CbCr信号输入，分离Y信号后，CbCr信号交替出现ftc_cbcr_outO10CbCr信号输出ie_vsync_outO1垂直同步信号输出信号ie_hsync_outO1水平同步信号输出信号ie_datavalid_outO1输出数据有效信号31肤色增强的仿真结果分析激励信号信号名称信号名称激励激励ie_clk50Hz时钟信号，周期为20nsie_rst_n复位信号，初始值为0，执行复位，延迟200ns复位撤销ie_vsync_in周期信号，由两个计数器控制，间隔出现一个时钟的高电平ie_hsync_in周期信号，由一个计数器控制，每512个时钟周期出现一个时钟的高电平ie_datavaild_in数据输入有效信号，行同步信号有效后，拉高并持续500个周期后拉低，等待下一个行同步有效信号ie_ftc_dis肤色增强使能，初始值为1，即不进行肤色增强运算，延迟20us后拉低，使能肤色增强ftc_cb_adjCb调整设置为5ftc_cb_max确定肤色范围的Cb最大值为127ftc_cb_min确定肤色范围的Cb最小值为77ftc_cr_adjCr调整设置为11ftc_cr_max确定肤色范围的Cr最大值为173ftc_cr_min确定肤色范围的Cr最小值为133ftc_cbcr_in间隔输入CbCr的值，Cb的初始值为0，并且按1递增，Cr的初始值为55，并且按1递增。32仿真结果分析仿真结果图33仿真结果分析可以看出，ie_hsync_in周期出现，ie_ftc_dic在延迟一段时间后拉低，Count2为行计数器，设定的ftc_cb_adj为5，ftc_cb_max为127，ftc_cb_min为77，ftc_cr_adj为11，ftc_cr_max为173，ftc_cr_min为133。34仿真结果分析仿真结果图35仿真结果分析当输入的Cb和Cr的值满足肤色范围时，但ie_ftc_dis为高电平，即肤色增强模块未使能，ftc_cbcr_out和ftc_cbcr_in相同，ftc_cbcr_out在ftc_cbcr_in输入5个时钟周期后输出，如上图两根黄线所示，105和160在延迟5个周期后输出。36仿真结果分析仿真结果图37仿真结果分析可知，当ie_ftc_dis低电平时，肤色增强使能，在上图两根黄线位置处，根据ftc_cbcr_in可知Cb值为90，Cr值为145，判断在肤色范围内，所以延迟5个时钟周期后ftc_cbcr_out输出为95、156，即Cb为95=90+5，Cr为156=145+11。38报告分析综合报告分析39报告分析肤色增强模块即ie_ftc共消耗216个logic elements（逻辑单元），使用率为总逻辑单元的3%，消耗206个combinational functions（组合逻辑功能），占总体的3%；消耗153个logic registers（逻辑寄存器），占总体的2%；对外部引脚数共81个。40报告分析时序分析报告41报告分析在TimeQuest中约束ie_clk频率为50Mhz，周期20ns，占空比为50%。通过时序分析报告可知，没有出现时序违规的情况，并且在电压为1200mV，温度为85的慢速环境时，最高频率可以达到104.94Mhz。42致谢43