基于OpenCV的绿幕背景视频抠图.pdf

人们利用绿幕背景处理制造出来的假象和幻觉，被称为影视特效。电影摄制者利用特效完成一些科幻镜头，这一切离不开绿幕背景视频抠图。对视频背景处理的研究可以帮助人们避免在危险环境中进行拍摄工作，同时电影摄制者利用它们来减少电影的制作成本1。以开源的计算机视觉库OpenCV2为基础，对视频进行抠图研究，包括视频背景的抠除替换和视频前景检测的研究。针对抠图替换，首先提取视频中的每一帧进行图像分割，制作图像掩膜，进行前景和背景的填充，最后实现视频抠图。针对前景检测，使用帧差法，先将不断获取的连续两帧转到灰度空间后进行后帧与前帧的减法运算，所得结果再进行阈值二值化，最后实现前景运动对象的准确检测。1系统理论基础视频背景抠图的实质就是图像抠图，视频可以采用对视频的每一帧都使用图像抠图的方法。对于图像抠图，也可以将其理解成为对图像的分割，既可以是将图像分割成为若干区域，也可以是将图像的前景与背景分离。1.1绿幕视频背景抠图原理绿幕背景视频抠图过程中，输入一段以物理蓝屏为背景的视频，即原视频Vi，原视频包含了所有目标候选帧，再读入替换背景的图像Ii，采用制作掩膜的方法寻找到视频帧中前景Ft，也就是除去图像中的绿幕部分，可称之为背景，用Bt表示。掩膜实质效果为将背景置为白色，前景置为黑色。有了掩膜后，再制作一张空白的图像Io，接着将掩膜黑色区域对应的视频帧中前景区域获取像素点的值赋到空白图像Io上，掩膜白色区域对应的替换背景图像Ii获取像素点的值赋到空白图像Io上。由此，视频中的一帧背景便替换完成，这样视频每读入一帧，便进行这样的转换。最终目的就是整个视频背景替换完成。1.2基于阈值的图像分割基于阈值的图像分割的基本原理是用一个或几个阈值将图像的灰度级分为几个部分，认为属于同一个部分的像素是同一个物体。将像素分为两类为二值图像，因此，两类像素的图像分割也称为图像的二值化处理3。阈值选取的图像分割方法是提取目标物体与背景在灰度上的差异，把图像分为具有不同灰度级的目标区域和背景区域的组合。阈值分割4是最常见的并行的直接检测区域的分割方法，它用一个或几个阈值将图像的整个灰度范围分为两段或多段，灰度级属于同一段的像素构成性质相同的区域，其中包含了目标区域。阈值分割法主要有两个步骤：确定进行正确分割的阈值。将图像的所有像素的灰度级与阈值进行比较，以进行区域划分，达到目标与背景分离的目的。在这一过程中，正确确定阈值是关键，只要能确定一个合适的阈值就可以完成图像的准确分割，其基本原理的数学模型描述为：设(x,y)是二维数字图像的平面坐标，图像灰度级的取值范围是G=0,1,2,L-1(习惯上0代表最暗的像素点)，位于坐标点(x,y)上的像素点的灰度级表示为f(x,y)。设tG为分割阈值，B=b0,b1代表一个二值灰度级，并且b0,b1 G。于是图像函数f(x,y)在阈值t 上的分割结果可以表示为公式（1）：ft(x,y)=b0 f(x,y)?(1)阈值分割法实际就是按某个准则函数求最优阈值t*的过程。设灰度级为i 的像素点个数为m i,则图像的像素点的收稿日期：2 0 2 3 年2 月5 日；修回日期：2 0 2 3 年9 月2 7 日基金项目：国家级大学生创新创业项目(2 0 1 8 1 0 7 9 2 0 2 6);教育部产学合作协同育人项目(2 0 2 0 0 2 1 6 8 0 3 2);天津城建大学教育教学改革与研究重点项目(J G-Z D-2 2 0 3 8,J G-Z D-2 2 0 3 5)1 8总数目M 为公式（2）：M=i=0L-1mi（2）灰度级i 的出现概率pi 为公式（3）：pi=mi/M（3）亦可写为公式（4）：Pi=miM=mii=oL-1mi（4）如果一幅图像含有两个以上不同类型的区域，则可以使用多个灰度阈值进行分割。阈值法分为全局阈值法和局部阈值法两种。全局阈值法指利用全局信息(例如整幅图像的灰度直方图)对整幅图像求出最优分割阈值，可以是单阈值，也可以是多阈值，阈值分割法的结果很大程度上依赖于对阈值的选择，因此该方法的关键是如何选择合适的阈值6。设一副图像的像素总数为n，灰度级为L，第k个灰度级rk的像素数为nk，计算图像灰度直方图可表示为公式（5）：pk=nkn,k=0,1,.,L-1（5）式（5）子中pk表示灰度级的概率分布率。根据像素的灰度值，利用阈值T将图像中的像素划分为两类，记为C1和C2，C1由灰度值在范围0，T内的像素构成，C2由灰度值在范围T+1，L-1内的像素构成。2W,2B,2T分别代表类内方差、类间方差、总体方差。阈值t 的分割质量由下列3个准则函数衡量，见公式（6）：=2B2W，k=2T2W，=2B2T（6）式子中有2W=020+1212B=0(0-T)2+1(1-T)2=01(0-1)22T=2W+2B，0=i=0tPi，1=1-0T=i=0L-1i pi，t=i=0tipi，0=t0，1=T-t1-0求取最优阈值t*的表达式通过求类间方差的最大值得到公式（7）：t*=argmaxt G2B（7）2系统设计2.1设计方案基于OpenCV开源的计算机视觉库，将设计划分为可执行的步骤，按照步骤再利用OpenCV中API对目标进行处理分析，最后得出结果。划分的主要流程步骤如图1所示。流程图所示关于设计的步骤主要有以下几步：通过OpenCV内置函数在开发环境中导入视频、背景图像。播放视频的同时获取视频的每一帧将视频拆解为一张张的图像。对获取的图像转化到 HSV 色彩空间后利用阈值法进行分割，制作图像的掩膜。由掩膜找到视频帧的前景，以及背景图像中需要填充的背景像素点，对新建立的空白图像进行填充。重复三、四两步，直至视频播放结束。2.2设计开发平台实验的开发环境操作系统为Windows7和VS2015，计算机型号华硕 x550v，CPU 型号 Intel四核 3.2GHz，程序基于OpenCV3.0用C+实现。2.3实验数据实验采用两段视频作实验分析。一段是视频帧大小(像素)为1280720，前景为人，人物身着黑色服装演讲，背景为纯绿幕的一段视频长度35秒的视频，视频中由于光照的原因，使得背景上出现些许的阴影。另一段是视频帧大小(像素)为1280720，前景是蝴蝶，蝴蝶为黄色，视频内容为蝴蝶飞舞。背景为纯绿幕长度为22秒。其蝴蝶可到达图像中的任意像素点。实验所用两段视频内容截取的某一帧如图2中（a）和（b）所示：2.4色彩空间转化模块设计在对图像进行阈值分割之前，需要将图像从RGB色彩空间转化到HSV色彩空间7。HSV在数学上定义为在RGB空间中的颜色的R，G和B的坐标的变换。设（r,g,b）分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数。设max等价于r,g和b中的最大者。设min等于这些值中的最小者。要找到在HSV空间中的（h,s,v）值，这里的h0,360）是角度的色相角，而 s,v0,1 是饱和度和亮度。转化由计算机完成，通过公式（8）（9）（10）分别求取图像的色调H、饱和度S、亮度I，得出HSV空间图像，完成空间转化，可进行图像分割。H，S，V的计算为：h=0if max=min60 g-bmax-min+0,if max=r and g b60 g-bmax-min+360,if max=r and g b60 b-rmax-min+120,if max=g60 r-gmax-min+240,if max=b（8）s=0,if max=0max-minmax=1-minmax,otherwise（9）v=max（10）2.5帧分割与掩膜制作分割过程想要的是前景的轮廓，保留前景去除背景。而保留前景的目的主要是为了制作掩膜，最后通过掩膜找图1设计流程图2视频素材（a）素材一（b）素材二热点技术基于OpenCV的绿幕背景视频抠图19热点技术基于O p e n C V 的绿幕背景视频抠图总数目M 为公式(2):m=m i(2)灰度级i 的出现概率p i 为公式(3):p i =m i l/M(3)亦可写为公式(4):-晋S(4)如果一幅图像含有两个以上不同类型的区域，则可以使用多个灰度阈值进行分割。阈值法分为全局阈值法和局部阈值法两种。全局阈值法指利用全局信息(例如整幅图像的灰度直方图)对整幅图像求出最优分割阈值，可以是单阈值，也可以是多阈值，阈值分割法的结果很大程度上依赖于对阈值的选择，因此该方法的关键是如何选择合适的阈值。设一副图像的像素总数为n,灰度级为L,第k 个灰度级r?的像素数为n,计算图像灰度直方图可表示为公式(5):p k=,k=0.L-1(5)式(5)子中p?表示灰度级的概率分布率。根据像素的灰度值，利用阈值T 将图像中的像素划分为两类，记为C 1 和C 2,C 1 由灰度值在范围 0,T 内的像素构成，C 2 由灰度值在范围 T+1,L-1 内的像素构成。2,?分别代表类内方差、类间方差、总体方差。阈值t 的分割质量由下列3 个准则函数衡量，见公式(6):A-#.k-#n=#(6)式子中有8=0?8 G+w?8 8=w?(?-?)2+o?(?-?=w?o?(?-?8=8+8 6,0 0=F,o l=1-?r=S i m.=m=,=求取最优阈值t*的表达式通过求类间方差的最大值得到公式(7):t=a t g e c?(7)2 系统设计开始加鞋视拼加载成功获取视频触图像R G B E H S V分割制作拽顾进行育景填竞显示填充图像播放结结束图1 设计流程2.1 设计方案基于O p e n C V 开源的计算机视觉库，将设计划分为可执行的步骤，按照步骤再利用O p e n C V 中A P I 对目标进行处理分析，最后得出结果。划分的主要流程步骤如图1 所示。流程图所示关于设计的步骤主要有以下几步：通过O p e n C V 内置函数在开发环境中导入视频、背景图像。播放视频的同时获取视频的每一帧将视频拆解为一张张的图像。对获取的图像转化到 H S V 色彩空间后利用阈值法进行分割，制作图像的掩膜。由掩膜找到视频帧的前景，以及背景图像中需要填充的背景像素点，对新建立的空白图像进行填充。重复三、四两步，直至视频播放结束。2.2 设计开发平台实验的开发环境操作系统为W i n d o w s 7 和V S 2 0 1 5,计算机型号华硕x 5 5 0 v,C P U 型号I n t e l 四核3.2 G H z,程序基于O p e n C V 3.0 用C+实现。2.3 实验数据实验采用两段视频作实验分析。一段是视频帧大小像素)为1 2 8 0 7 2 0,前景为人，人物身着黑色服装演讲，背景为纯绿幕的一段视频长度3 5 秒的视频，视频中由于光照的原因，使得背景上出现些许的阴影。另一段是视频帧大小(像素)为1 2 8 0 7 2 0,前景是蝴蝶，蝴蝶为黄色，视频内容为蝴蝶飞舞。背景为纯绿幕长度为2 2 秒。其蝴蝶可到达图像中的任意像素点。实验所用两段视频内容截取的某一帧如图2 中(a)和(b)所示：(a)素材一(b)素材二图2 视频素材2.4 色彩空间转化模块设计在对图像进行阈值分割之前，需要将图像从R G B 色彩空间转化到H S V 色彩空间。H S V 在数学上定义为在R G B空间中的颜色的R,G 和B 的坐标的变换。设(r,g,b)分别是一个颜色的红、绿和蓝坐标，它们的值是在0 到1 之间的实数。设m a x 等价于r,g 和b 中的最大者。设m i n 等于这些值中的最小者。要找到在H S V 空间中的(h,s,v)值，这里的h(0,3 6 0)是角度的色相角，而s,v e 0,1 是饱和度和亮度。转化由计算机完成，通过公式(8)(9)(1 0)分别求取图像的色调H、饱和度S、亮度I,得出H S V 空间图像，完成空间转化，可进行图像分割。H,S,V 的计算为：-Lm k-m m+3 6 0,i f m a x=r a n d g b(8)。yb-r4 1 0 0 f m e-。6 0(9)v =m a x(1 0)2.5 帧分割与掩膜制作分割过程想要的是前景的轮廓，保留前景去除背景。而保留前景的目的主要是为了制作掩膜，最后通过掩膜找1 9到前景图像像素。基于这种思想，通过分割算法将前景置为黑色，由于背景不需要，所以将背景置为白色。可以找出背景颜色在HSV空间中的阈值范围。找到阈值范围后通过式（7）求取该范围内最优阈值，再由式（1）循环遍历图像中所有像素点，将处于阈值范围内像素点置为白色，不在阈值范围内像素点置为黑色。实验进行两幅图的此方法的分割测试，如图3所示。从中可以看出，前景中还是存在着细小的白色斑点。需要通过图像的腐蚀和高斯模糊来消除这些细小斑点。要进行图像背景融合得先完成图像掩膜制作，掩膜作用是通过其找到对应的背景像素点和前景像素点。对视频进行帧分割之后，需要去除噪声污染，即对图像进行腐蚀操作后再进行高斯滤波。腐蚀和高斯模板操作均为33模板，完成后效果如图4所示，可以看出图3中出现的白点噪声已消除。2.6背景抠图融合设计图像融合方法并不只是简单地图像叠加，获取图像中需要的像素点再进行像素点的填充，最后完成图像融合。融合过程可以简化为图 5 样式，关键点在于掩膜的制作和边缘像素的填充，填充时为了使效果更加理想，需要对掩膜进行腐蚀和高斯滤波。融合效果如图6所示。2.7前景检测设计实验在进行背景抠图的同时，还对前景进行了测试检测，目的是与背景的抠图进行横向比较，熟悉前景背景在图像处理中的差别。实验所采用的方法为帧差法。2.7.1帧差法原理帧差法原理帧差法是用当前帧和某固定帧的绝对值差来提取运动目标9。固定帧选取的原则是场景中不存在运动目标。假设获取的某固定帧（背景帧）为Ib，存在运动目标的当前帧为Ic。采用帧差法提取目标有个前提假设：运动目标和背景的灰度或者颜色相差较多，并且背景变化很小，甚至没有变化。则背景帧和当前帧所对应像素的灰度差值的绝对值为：Iad=abs(Ic-Ib)（11）在有些场合中，仅采用一帧图像来表示背景会有些不靠谱，因此大多数时候会采用若干帧图像的均值来表示背景。方法为Ib1,Ib2,.,Ibn是采集的n帧背景图，用均值来表示背景的方法如公式（12）：Ib=1ni=1nIbi（12）有些时候，由于背景的变化。比如说光照的变化等。不论是把固定某一帧还是某几帧均值作为背景，都可能会把背景检测成前景，这时就需要背景帧能跟随场景的变化而变化，即具有学习能力，有公式（13）：Ibt=(1-)Ib(t-1)+It（13）其中Ibt是t时刻的背景帧，It是当前t时刻不包含运动区域的图像帧，是学习率。除此之外，也可以利用三帧的帧差来提取运动目标的，原理和两帧类似。2.7.2帧差法实现帧差法实现帧差法流程图如图7所示：将图像转化到灰度空间，是将三通道图像转化为单通道图像，原理公式如式14所示：Gray=R 0.299+G 0.587+B 0.114（14）按照式（14）将R、G、B单三通道按比例归一化到0,1之间得到灰度图像。后续步骤涉及的色彩空间转化、图像滤波、获取视频帧等图像操作原理与前文描述原理相同。实验在进行二值阈值化处理时，只有当阈值合适的时候，前景的检测才会出现预期效果。经过实验发现，当阈值取中间值，算法准确确定前景对象，并对其进行了矩形绘制。图8中(a)是原始视频，(b)是当阈值合适时，此处取阈值22的前景检测效果。2.8GUI设计GUI 采用的是 Qt5.8.0 版本进行制作，Qt 中配置了OpenCV以后便可以进行OpenCV对图像的所有操作。由于图3分割素材（a）素材一分割图（b）素材二分割图图4图像掩膜（a）素材一掩膜（b）素材二掩膜图5融合过程图7帧差法流程图6融合效果（a）素材一背景融合（b）素材二背景融合图8帧差法检测(a)原始帧(b)正确检测20通信与信息技术 2 0 2 3 年第6 期(总第2 6 6 期)到前景图像像素。基于这种思想，通过分割算法将前景置为黑色，由于背景不需要，所以将背景置为白色。可以找出背景颜色在H S V 空间中的阈值范围。找到阈值范围后通过式(7)求取该范围内最优阈值，再由式(1)循环遍历图像中所有像素点，将处于阈值范围内像素点置为白色，不在阈值范围内像素点置为黑色。实验进行两幅图的此方法的分割测试，如图3 所示。从中可以看出，前景中还是存在着细小的白色斑点。需要通过图像的腐蚀和高斯模糊来消除这些细小斑点。(a)素材一分割图(b)素材二分割图图3 分割素材要进行图像背景融合得先完成图像掩膜制作，掩膜作用是通过其找到对应的背景像素点和前景像素点。对视频进行帧分割之后，需要去除噪声污染，即对图像进行腐蚀操作后再进行高斯滤波。腐蚀和高斯模板操作均为3 3 模板，完成后效果如图4 所示，可以看出图3 中出现的白点噪声已消除。(a)素材一掩膜(b)素材二掩膜图4 图像掩膜2.6 背景抠图融合设计图像融合方法并不只是简视频帧单地图像叠加，获取图像中需要的像素点再进行像素点的填建立掩膜背景图像充，最后完成图像融合。融合过程可以简化为图5 样式，关掩膜前景掩膜背景键点在于掩膜的制作和边缘像空白图像素的填充，填充时为了使效果更加理想，需要对掩膜进行腐融合图像蚀和高斯滤波。融合效果如图图5 融合过程6 所示。(a)素材一背景融合(b)素材二背景融合图6 融合效果2.7 前景检测设计实验在进行背景抠图的同时，还对前景进行了测试检测，目的是与背景的抠图进行横向比较，熟悉前景背景在图像处理中的差别。实验所采用的方法为帧差法。2.7.1 帧差法原理帧差法是用当前帧和某固定帧的绝对值差来提取运动目标。固定帧选取的原则是场景中不存在运动目标。假设获取的某固定帧(背景帧)为I,存在运动目标的当前帧为I。采用帧差法提取目标有个前提假设：运动目标和背景的灰度或者颜色相差较多，并且背景变化很小，甚至没有变化。则背景帧和当前帧所对应像素的灰度差值的绝对值为：l a d =a b s(I e-I b)(1 1)在有些场合中，仅采用一帧图像来表示背景会有些不靠谱，因此大多数时候会采用若干帧图像的均值来表示背景。方法为I 是采集的n 帧背景图，用均值来表示背景的方法如公式(1 2):1=M i(1 2)有些时候，由于背景的变化。比如说光照的变化等。不论是把固定某一帧还是某几帧均值作为背景，都可能会把背景检测成前景，这时就需要背景帧能跟随场景的变化而变化，即具有学习能力，有公式(1 3):I b t =(1-)l b(t-1)+a l t(1 3)其中I 是t 时刻的背景帧，I,是当前t 时刻不包含运动区域的图像帧，是学习率。除此之外，也可以利用三帧的帧差来提取运动目标的，原理和两帧类似。2.7.2 帧差法实现帧差法流程图如图7 所示：将图像转化到灰度空间，开据是将三通道图像转化为单通道取地对值加0 观嘱图像，原理公式如式1 4 所示：湖值二强化G r a y=R 0.2 9 9+G 0.5 8 7+B 0.1 1 4(1 4)画出后试量获得程测略按照式(1 4)将R、G、B单三通道按比例归一化到 0,1 之间得到灰度图像。后续步骤涉及的色彩空间转化、图像滤波、获取视频帧等图像操作原理与前文描述原理相同。据果数-1R 0 B W O R A Y想照图7 帧差法流程实验在进行二值阈值化处理时，只有当阈值合适的时候，前景的检测才会出现预期效果。经过实验发现，当阈值取中间值，算法准确确定前景对象，并对其进行了矩形绘制。图8 中(a)是原始视频，(b)是当阈值合适时，此处取阈值2 2 的前景检测效果。(a)原始帧(b)正确检测图8 帧差法检测2.8 G U I 设计G U I 采用的是 Q 1 5.8.0 版本进行制作，Q t 中配置了O p e n C V 以后便可以进行O p e n C V 对图像的所有操作。由于2 0设计对视频的处理实质为视频帧的处理，显示了视频的每一帧就显示了整个视频。制作难点在于如何将图像在Qt界面中显示出来，Qt中显示图像需要把OpenCV中的Mat形式转成QImage形式然后在Qt内置插件QLabel中显示即可。但是由于Qt中QImage保存图像的是RGB格式，而OpenCV中Mat变量存储的图像是BGR格式，这时只需在显示图像前将图像格式由BGR转化为RGB格式即可在QLabel中显示，转化方法由OpenCV内置函数完成。整个界面如图9所示：3总结研究绿幕背景视频抠图与背景融合算法，减少制作费用和降低拍摄风险，对视频拍摄与制作具有重要意义，同时对影视行业的发展具有一定的推动作用。（1）针对绿幕背景视频抠图，详细阐述了对视频帧所使用的帧分割方法。该方法在进行帧分割时需要将图像的色彩空间转化到HSV色彩空间，关键点在于HSV色彩空间中阈值的选取。（2）阐述了RGB色彩空间向HSV色彩空间转化的方法。（3）实现了掩膜的制作，在掩膜基础上新建空白图像，在空白图像上，通过获取像素的方法实现了图像前景与目标背景的填充，最终实现了绿幕背景视频的抠图。（4）对前景运用帧差法实现了前景检测。帧差法中需要差值结果进行阈值二值化，对二值化阈值的最佳阈值进行测试分析，最终得出最佳分割效果，完成前景的检测。总体两个实验实现了预期效果。完成主要工作后设计并实现了一个交互式的背景替换系统界面，该系统包含加载图像和视频，并对视频进行背景替换和前景检测，每个步骤都有相应的可操作按钮，用户可以很方便的操作系统界面。参考文献1陈倬豪.影视绿幕技术在微课制作中的应用J.大众文艺,2017,(10):242.2朱伟.OpenCV图像处理编程实例M.北京：电子工业出版社,2016：121-312.3陈海峰,丁丽丽.二值化图像的灰度处理算法研究J.电脑与电信,2019,(7):34-384刘硕.阈值分割技术发展现状综述J.科技创新与应用,2020,(24):129-130.5张晴,林家骏.结合超像素和直方图阈值的显著区域检测算法J.计算机工程与应用,2015,51(20):22-27.6田文启,李震,段新涛等.一种基于阈值分割的自适应逆光图像处理算法J.计算机与数字工程,2020,48(10):2465-2470.7齐锐丽,陈曼龙,杨宗浩等.基于HSV模型与改进的OTSU算法花椒图像分割J.中国农机化学报,2019,40(11):155-160.8许意杭,曾国安.一种实用的绿幕分割方法J.电脑知识与技术,2018,14(25):208-217.9段锁林,高仁洲,刘福等.融合改进帧差和视觉背景提取算法的前景检测J.小型微型计算机系统,2019,40(9):1903-1908.10Junying F,Peng L,Kwan Y K.Foreground Detection Based onSuperpixel and Semantic SegmentationJ.Computational Intelligenceand Neuroscience,2022.11Chiranjeevi K,Jena U,Rao N M.Image compression based onadaptive image thresholding by maximising Shannon or fuzzy entropyusing teaching learning based optimisationJ.International Journal ofAdvanced Intelligence Paradigms,2021,18(2):193-231.12Junting S,Wenbin J,Katie L,et al.A two-stage adaptivethresholding segmentation for noisy low-contrast imagesJ.EcologicalInformatics,2022,69.13Das S.A statistical tool based binarization method for documentimagesJ.Multimedia Tools and Applications,2019,78(19):27449-27462.作者简介赵洁（1984），男，博士，副教授，主要研究方向：图像/视频处理与分析、机器学习（）。杨涛（1997），男，主要研究方向：图像处理。常皓婵（2000），女，硕士，主要研究方向：图像处理、深度学习。图9运行GUI效果OpenCV-based green screen background video cutoutZHAO Jie,YANG Tao,CHANG HaochanSchool of Computer and Information Engineering,Tianjin Chengjian University,Tianjin 300384,ChinaAbstract:Video background matting has always been a hot research direction in the field of multimedia processing technologyand computer vision,which is of great significance to video shooting and production.The essence of video background matting is imagematting,that is,segmentation of the image.Based on the threshold image segmentation and the basic theory of OpenCV,this paper studies the green-screen background video matting and foreground detection,carries out detailed design and full experiment on the algorithm of each module,and finally designs an interactive background replacement system interface.Users can load background imagesand videos through interactive buttons,and complete background replacement and foreground detection through button operation.Keywords:Video matting,Threshold segmentation,Background replacement,Frame difference method热点技术基于OpenCV的绿幕背景视频抠图21热点技术基于O p e n C V 的绿幕背景视频抠图设计对视频的处理实质为视频帧的处理，显示了视频的每一帧就显示了整个视频。制作难点在于如何将图像在Q t 界面中显示出来，Q t 中显示图像需要把O p e n C V 中的M a t 形式转成Q I m a g e 形式然后在Q t 内置插件Q L a b e l 中显示即可。但是由于Q t 中Q I m a g e 保存图像的是R G B 格式，而O p e n C V 中M a t 变量存储的图像是B G R 格式，这时只需在显示图像前将图像格式由B G R 转化为R G B 格式即可在Q L a b e l 中显示，转化方法由O p e n C V 内置函数完成。整个界面如图9 所示：绿幕背量视频据面W*面*A=日打开网型#*钢#n 和*检研3 总结图9 运行G U l 效果研究绿幕背景视频抠图与背景融合算法，减少制作费用和降低拍摄风险，对视频拍摄与制作具有重要意义，同时对影视行业的发展具有一定的推动作用。(1)针对绿幕背景视频抠图，详细阐述了对视频帧所使用的帧分割方法。该方法在进行帧分割时需要将图像的色彩空间转化到H S V 色彩空间，关键点在于H S V 色彩空间中阈值的选取。(2)阐述了R G B 色彩空间向H S V 色彩空间转化的方法。(3)实现了掩膜的制作，在掩膜基础上新建空白图像，在空白图像上，通过获取像素的方法实现了图像前景与目标背景的填充，最终实现了绿幕背景视频的抠图。(4)对前景运用帧差法实现了前景检测。帧差法中需要差值结果进行阈值二值化，对二值化阈值的最佳阈值进行测试分析，最终得出最佳分割效果，完成前景的检测。总体两个实验实现了预期效果。完成主要工作后设计并实现了一个交互式的背景替换系统界面，该系统包含加载图像和视频，并对视频进行背景替换和前景检测，每个步骤都有相应的可操作按钮，用户可以很方便的操作系统界面。参 考 文 献 1 陈倬豪.影视绿幕技术在微课制作中的应用 J .大众文艺，2 0 1 7,(1 0):2 4 2.2 朱伟.O p e n C V 图像处理编程实例 M .北京：电子工业出版社，2 0 1 6:1 2 1-3 1 2.3 陈海峰，丁丽丽.二值化图像的灰度处理算法研究 J .电脑与电信，2 0 1 9,(7):3 4-3 8 4 刘硕.阈值分割技术发展现状综述 J .科技创新与应用，2 0 2 0,(2 4):1 2 9-1 3 0.5 张晴，林家骏.结合超像素和直方图阈值的显著区域检测算法J .计算机工程与应用，2 0 1 5,5 1(2 0):2 2-2 7.6 田文启，李震，段新涛等.一种基于阈值分割的自适应逆光图像处理算法 J .计算机与数字工程，2 0 2 0,4 8(1 0):2 4 6 5-2 4 7 0.7 齐锐丽，陈曼龙，杨宗浩等.基于H S V 模型与改进的O T S U 算法花椒图像分割 J .中国农机化学报，2 0 1 9,4 0(1 1):1 5 5-1 6 0.8 许意杭，曾国安.一种实用的绿幕分割方法 J .电脑知识与技术，2 0 1 8,1 4(2 5):2 0 8-2 1 7.9 段锁林，高仁洲，刘福等.融合改进帧差和视觉背景提取算法的前景检测 J .小型微型计算机系统，2 0 1 9,4 0(9):1 9 0 3-1 9 0 8.1 0 J u n y i n g F,P e n g L,K w a n Y K.F o r e g r o u n d D e t e c t i o n B a s e d o nS u p e r p i x e l a n d S e m a n t i c S e g m e n t a t i o n J .C o m p u t a t i o n a l I n t e l l i g e n c ea n d N e u r o s c i e n c e,2 0 2 2.1 1 C h i r a n j e e v i K,J e n a U,R a o N M.I m a g e c o m p r e s s i o n b a s e d o na d a p t i v e i m a g e t h r e s h o l d i n g b y m a x i m i s i n g S h a n n o n o r f u z z y e n t r o p yu s i n g t e a c h i n g l e a r n i n g b a s e d o p t i m i s a t i o n J .I n t e r n a t i o n a l J o u r n a l o fA d v a n c e d I n t e l l i g e n c e P a r a d i g m s,2 0 2 1,1 8(2):1 9 3-2 3 1.1 2 J u n t i n g S,W e n b i n J,K a t i e L,e t a l.A t w o-s t a g e a d a p t i v et h r e s h o l d i n g s e g m e n t a t i o n f o r n o i s y l o w-c o n t r a s t i m a g e s J .E c o l o g i c a lI n f o r m a t i c s,2 0 2 2,6 9.1 3 D a s S.A s t a t i s t i c a l t o o l b a s e d b i n a r i z a t i o n m e t h o d f o r d o c u m e n ti m a g e s J .M u l t i m e d i a T o o l s a n d A p p l i c a t i o n s,2 0 1 9,7 8(1 9):2 7 4 4 9-2 7 4 6 2.作者简介赵洁(1 9 8 4 一),男，博士，副教授，主要研究方向：图像/视频处理与分析、机器学习(z h a o j t j u.e d u.c n)。杨涛(1 9 9 7 一),男，主要研究方向：图像处理。常皓婵(2 0 0 0 一),女，硕士，主要研究方向：图像处理、深度学习。O p e n C V-b a s e d g r e e n s c r e e n b a c k g r o u n d v i d e o c u t o u tZ H A O J i e,Y A N G T a o,C H A N G H a o c h a nS c h o o l o f C o m p u t e r a n d I n f o r m a t i o n E n g i n e e r i n g,T i a n j i n C h e n g j i a n U n i v e r s i t y,T i a n j i n 3 0 0 3 8 4,C h i n aA b s t r a c t:V i d e o b a c k g r o u n d m a t t i n g h a s a l w a y s b e e n a h o t r e s e a r c h d i r e c t i o n i n t h e f i e l d o f m u l t i m e d i a p r o c e s s i n g t e c h n o l o g ya n d c o m p u t e r v i s i o n,w h i c h i s o f g r e a t s i g n i f i c a n c e t o v i d e o s h o o t i n g a n d p r o d u c t i o n.T h e e s s e n c e o f v i d e o b a c k g r o u n d m a t t i n g i s i m a g em a t t i n g,t h a t i s,s e g m e n t a t i o n o f t h e i m a g e.B a s e d o n t h e t h r e s h o l d i m a g e s e g m e n t a t i o n a n d t h e b a s i c t h e o r y o f O p e n C V,t h i s p a p e r s t u d-i e s t h e g r e e n-s c r e e n b a c k g r o u n d v i d e o m a t t i n g a n d f o r e g r o u n d d e t e c t i o n,c a r r i e s o u t d e t a i l e d d e s i g n a n d f u l l e x p e r i m e