基于间隔采样的快速变分条带噪声检测方法.pdf

第 卷第 期自 然 资 源 遥 感.年 月 .:./.引用格式:白玉川徐锐李宗睿等.基于间隔采样的快速变分条带噪声检测方法.自然资源遥感():.(.():.)基于间隔采样的快速变分条带噪声检测方法白玉川 徐 锐 李宗睿 潘 俊(武汉大学测绘遥感信息工程国家重点实验室武汉)摘要:为了提高目前主流卫星推扫成像过程中多列条带噪声的检测效率提出了一种基于间隔采样的快速变分条带噪声检测方法 该方法以条带噪声成分变分建模和优化求解为基础通过间隔采样和构建带间隔采样参数的条带噪声成分估计模型完成条带噪声成分的快速求解然后对条带噪声成分列均值进行一元离群点检测和后处理完成条带噪声的定位 由于采用间隔采样的策略该方法在不损失条带噪声检测精度的情况下显著提高了检测效率关键词:条带噪声 变分模型 自动检测中图法分类号:文献标志码:文章编号:()收稿日期:修订日期:基金项目:国家自然科学基金重大项目“遥感再分析与智慧服务”(编号:)资助第一作者:白玉川()男硕士研究生主要从事遥感影像处理:.通信作者:潘 俊()男研究员主要从事计算机视觉、遥感影像处理及应用研究:.引言随着我国遥感技术的蓬勃发展线阵推扫式传感器已经搭载于我国多颗遥感卫星之上成为了现有对地观测方式中最有效的方式之一 而条带噪声是存在于线阵推扫式卫星遥感影像中在遥感影像采集过程由于推扫式成像设备线阵探测器上探元之间响应不一致空间复杂的电磁环境及器件本身的误差等因素造成的一种特殊噪声 随着卫星中传感器老化条带噪声问题日益突出 条带噪声会破坏遥感影像中的地物信息降低数据的质量影响数据的解译限制数据的可用性因此有必要对遥感影像条带噪声进行准确检测为后续条带噪声的去除以及探元响应趋势的分析提供便利进一步为遥感卫星的相对辐射定标打好基础目前遥感影像条带噪声相关研究主要集中在条带噪声去除从而提高遥感影像的质量方面专门针对条带噪声检测的研究相对较少针对条带噪声的检测 等使用频谱图的行方差和列方差比值来确定遥感影像中是否含有条带噪声 等通过基于边缘检测和线跟踪算法实现了条带噪声的检测 等提出了自适应条带噪声检测方法得到遥感影像中的条带噪声并通过不同大小的阈值设定将遥感影像中的条带噪声分类 胡旭东针对单列条带噪声和多列条带噪声分别提出了不同的检测方法:对于单列条带噪声利用邻域影响的灰度均值的骤变特性来进行判断对于多列条带噪声使用宽度不同的滑动窗口沿行方向移动并对窗口内的灰度均值和标准差进行均值拟合进而判定该列是否为条带噪声列条带噪声的去除方法相关研究较多大致可以分为 类:基于统计的方法、基于滤波的方法和基于优化的方法 基于统计的条带噪声去除方法包括直方图匹配法 和矩匹配法 并在遥感影像地物分布均匀、遥感影像数量较多且具有统计意义的时候能够获得比较好的处理效果 基于滤波的条带噪声去除方法通过抑制在变换域内由条带噪声引起的特定频率来去除条带噪声常用的方法有小波分析法、傅里叶变换法 和联合小波 傅里叶的方法 等 基于优化的条带噪声去除方法将遥感影像和条带噪声的特征作为先验知识构建适当的优化模型并根据模型设计高效的求解算法进行求解从而直接或间接地对遥感影像中的条带噪声进行去除 等提出了一种基于 正则化的遥感影像条带噪声去除方法 等提出了顾及全局稀疏性和局部变分特性的遥感影像条带噪声分离和去除方法 自 然 资 源 遥 感 年等通过基于条带噪声群组稀疏性正则化的模型来表示和求解遥感影像中的条带噪声成分进而进行噪声的去除 等提出了基于联合稀疏约束和迭代支持检测()的遥感影像条带噪声检测和去除算法 为了避免条带噪声去除过程中丢失影像细节王昶等提出了一种基于小波变分法去除遥感影像条带噪声 针对月球高光谱影像中存在的高密度不规律条带噪声 赵书珩提出了一种顾及空谱联合特征的密集复杂条带去除模型提高了现有方法的泛化性能 随着当前卫星的空间分辨率不断提高单幅遥感影像内的数据量也在不断增加这对条带噪声的检测效率也提出了更高要求 因此本文提出了一种基于间隔采样的快速变分条带噪声检测方法以期在保持了条带噪声检测准确性的同时显著提高条带噪声的检测效率 条带噪声的产生机理与特性线阵推扫式成像传感器把探元按扫描方向(垂直于飞行方向)阵列式排列来感应地面响应 典型的线阵探测器包括大量首尾相连的电荷耦合装置()线阵推扫式成像系统在探测地面分辨单元的能量时每个 探元有较长的停留时间因此能够更强地记录信号和感测到更大范围内的信号从而获得高的辐射分辨率 但是由于多个探元同时进行光电信号的转换探元之间灵敏度的差异往往会产生条带噪声探元之间灵敏度的差异主要是因为 探元间的响应不一致这种不一致产生的原因主要有:元器件内部系统误差、传感器工艺差异、光谱仪元件老化等因素使各个 探元的响应函数不同从而产生与线阵探测器扫描方向相同且具有空间位置周期性的条带噪声 在扫描过程中空间电磁干扰、传感器的运动、正反扫描响应的差异等都会影响成像系统的光能量进而影响到线阵探测器的工作状态导致 探元间响应不一致而产生条带噪声这类条带噪声与线阵探测器扫描方向保持相同但是不具有空间位置周期性条带噪声在不同遥感影像中可能会有不同的表现形式根据条带模式可以将条带噪声分为单列条带噪声和多列条带噪声 如图 所示单列条带噪声呈单列分布且与周围非条带噪声区域灰度值有明显的差异 多列条带噪声受噪声影响相对严重条带噪声区域与非条带噪声区域的明暗度有差异此外条带噪声区域内部各条带噪声列的明暗度也可能会有差异()单列条带噪声()多列条带噪声图 按照条带模式分类的条带噪声.多列条带噪声相比于单列条带噪声检测难度更高因此在实际的条带噪声检测过程中需要提高条带噪声检测算法的泛型使其能尽可能准确地将多列条带噪声检出 基于间隔采样的快速变分条带噪声检测方法 条带噪声成分会影响遥感影像的行方向或列方向梯度但在其垂直方向上却有良好的平滑性如果可以在保留条带噪声特征的同时大幅减少参与计算的数据量即可提升条带噪声的检测效率基于此本文提出了一种基于间隔采样的快速变分条带噪声检测方法间隔采样是对行直接采样(假设条带噪声成分沿行分布)并且不会进行插值运算所以能够使下采样后的遥感影像保留条带噪声的方向和结构特性并且不破坏条带噪声的位置信息 基于间隔采样的快速变分条带噪声检测方法通过构建变分正则化条带噪声成分估计模型从间隔采样的遥感影像中分离出条带噪声成分然后对条带噪声成分进行计算根据条带噪声成分列均值异常值检测结果确第 期白玉川等:基于间隔采样的快速变分条带噪声检测方法定条带噪声列并对条带噪声列进行后处理得到最终的条带噪声检测结果 具体的流程如图 所示图 基于间隔采样的快速变分条带噪声检测方法流程.间隔采样及条带噪声成分建模条带噪声为加性噪声为提高条带噪声检测效率本文提出对原始遥感影像进行间隔采样同时构建带间隔采样参数的条带噪声成分估计模型来快速获取遥感影像中的条带噪声信息 间隔采样及带间隔采样参数的条带噪声成分建模的具体步骤如下:首先使用间隔采样方法对原始的大的遥感影像进行下采样 对于大小为 行 列的遥感影像 每 行取一次数据每次取 行中第一行的全部数据 最终取出 行 列数据组成下采样遥感影像 间隔采样后的遥感影像降质模型为:()式中:为原始遥感影像的间隔采样遥感影像 为与 对应的条带噪声成分 为与 对应的不含条带噪声的影像成分 下采样遥感影像的长宽 和 与原始遥感影像的长宽 和 及下采样倍数 之间的关系为:()/()()同时考虑到间隔采样条件下的条带噪声成分应有如下约束以图 为例()原始影像()图像成分()条带噪声成分()条带噪声的水平梯度()条带噪声的垂直梯度()原始影像的水平梯度()原始影像的垂直梯度()条带噪声中每一列的 范数图 基于统计的 第 波段去条带结果.自 然 资 源 遥 感 年 )如图()和()所示条带噪声成分在垂直方向上有良好的平滑性因此可以用 范数正则化进行约束刻画条带噪声成分垂直梯度的稀疏特性)如图()和()所示条带噪声成分会影响影像的水平梯度而不含条带噪声的遥感影像的水平梯度是平滑的因此可以通过最小化实际遥感影像和条带噪声成分水平梯度的差值来进行约束)如图()和()所示可以将条带噪声成分中的每一列看作一个群组条带噪声成分具有群组稀疏特性计算公式为:()()()()()()()式中:()和()分别为基于条带噪声成分方向特性的约束项()为基于条带噪声成分结构特性的约束项 为垂直方向的线性一阶差分运算符 为水平方向的线性一阶差分运算符 为 范数 为 范数 将以上 个约束项组合得到完整的条带噪声成分估计模型即 ()()式中 和 为平衡各约束项作用强度的正则化参数 综上可以得到了带间隔采样参数的条带噪声成分估计模型.条带噪声成分的优化求解交替方向乘子()算法在处理条带噪声成分估计模型这类非光滑、非凸的优化问题时具有良好的性能求解步骤如下:根据 算法的求解步骤首先引入 个辅助变量 将式()转化为以下形式即().()再利用增强拉格朗日函数将上式转换为:()()()()()式中:为拉格朗日乘子其值被初始化为 为与拉格朗日乘子更新相关的惩罚参数均大于 然后使用 框架进行迭代交替地求解 相关的 个相对简单的子问题公式分别为:()()()()()每轮在完成对 的求解后需要通过以下公式对拉格朗日乘子 进行更新计算公式为:()()()()式中 为当前的迭代轮数综上使用 算法对下采样参数的条带噪声成分估计模型进行迭代求解 当满足下列条件时结束迭代即()(/)()式中:为逻辑或运算即当 个条件中的至少一个为真时该等式为真结束迭代 为设置迭代终止的最大误差 为设置的最大迭代次数 为间隔采样后的输入影像第 期白玉川等:基于间隔采样的快速变分条带噪声检测方法.条带噪声定位条带噪声定位的具体步骤如下:计算条带噪声成分 每一列的均值即 ()式中:为行号 为列号 分别为条带噪声成分 的行数和列数 为条带噪声成分 第 行第 列的数值 为条带噪声成分 第 列的均值可以用来表示第 列的条带噪声强度如图 所示从不含条带噪声的遥感影像中分离出的条带噪声成分的列均值近似地呈均值为 的正态分布因此可以通过基于正态分布的一元离群点检测方法对条带噪声成分 的列均值中的异常值进行检测()不含条带噪声的遥感影像()条带噪声成分列均值直方图图 不含条带噪声遥感影像的条带噪声成分列均值直方图.基于正态分布的一元离群点检测方法假设输入数据满足正态分布通过学习输入数据得到正态分布的参数并将低概率的点识别为离群点 假设输入数据中有 个点()那么可以计算出这 个点的均值 和标准差 为:()()()在实际问题中常认为概率很小的事件不太可能会发生因此可以使用()作为正常值与异常值的界限即当数据落在分布()之外时认为该数据为异常值 当条带噪声成分 第 列的列均值 为异常值时判定遥感影像的第 列为条带噪声列最后对条带噪声列检测结果进行后处理 当到 均被判定为异常值时认为第 列为一个多列条带噪声 实验与结果分析.实验数据及实验参数设置本次实验中所使用的遥感影像均来自海洋一号 卫星()海岸带成像仪()用于实验的条带噪声影像均已通过人工目视的方法检测出条带噪声的具体位置且此结果将用于本次实验所有方法的检测结果验证基于间隔采样的快速变分条带噪声检测方法需要设置平衡约束项作用强度的正则化参数 和 与拉格朗日乘子更新相关的惩罚参数 和 优化求解的最大迭代次数 和迭代终止的最大误差 以及一元离群点检测中的 值参考已有的参数设置经验并结合笔者的参数设置经验本文设置 .精度评价指标设置本实验采用了错误率、精确率、召回率 和 得分等作为条带噪声检测结果的定量评价指标计算公式分别为:()()()()式中:为检测结果为条带噪声实际也为条带噪声的列数 为检测结果不为条带噪声实际也不为条带噪声的列数 为检测结果为条带噪声但实际不为条带噪声的列数 为检测结果不为条带噪声但实际为条带噪声的列数.不同下采样方法条带噪声检测实验本实验分别对间隔采样、高斯金字塔采样和均值采样这 种方法得到的下采样遥感影像进行条带噪声检测分析不同下采样方法对条带噪声检测结自 然 资 源 遥 感 年果的影响以及验证本文提出的间隔采样参数的条带噪声成分估计模型的有效性实验使用的数据为如图 所示的真实条带噪声遥感影像大小为 像素 像素该遥感影像中有一个多列条带噪声位于第 列值得注意的是多列条带噪声与周围非条带噪声的边界一般比较模糊因此在多列条带噪声检测中当检出的条带噪声列位于人工标注的多列条带噪声位置及其左右 像素宽度内认为该检测结果是正确的 实验结果如表 所示本文所提出的方法已加粗表示图 条带噪声遥感影像.表 不同下采样方法条带噪声检测实验结果.遥感影像条带噪声成分估计模型影像大小/像素条带噪声列检测结果(列号)倍 高 斯 金字塔下 采样遥感影像基于群组稀疏性的条带噪声成分估计模型 倍 均 值 下采样遥 感影像基于群组稀疏性的条带噪声成分估计模型 倍 间 隔 下采样遥 感影像基于群组稀疏性的条带噪声成分估计模型 倍 间 隔 下采样遥 感影像带间隔采样参数的条带噪声成分估计模型 倍高斯金字塔下 采样遥感影像基于群组稀疏性的条带噪声成分估计模型 倍均值下采样遥 感影像基于群组稀疏性的条带噪声成分估计模型 倍间隔下采样遥 感影像基于群组稀疏性的条带噪声成分估计模型 (续表)遥感影像条带噪声成分估计模型影像大小/像素条带噪声列检测结果(列号)倍间隔下采 样遥 感影像带间隔采样参数的条带噪声成分估计模型 通过表 的实验结果可知使用间隔采样方法和带间隔采样参数的条带噪声成分估计模型能够有效保留遥感影像中条带噪声的特征并从中分离出条带噪声成分相比于其他几种采样方法漏检、误检率更低条带噪声检测结果更准确.不同下采样倍数条带噪声检测实验本实验使用的处理器为()().内存大小为.实验平台为 本实验使用图 所示的条带噪声遥感影像大小为 像素 像素该遥感影像中有 个多列条带噪声分别位于第 列和第 列 在实验中分别设置下采样倍数为 得到不同下采样倍数条带噪声检测结果如表 所示本文所提出的方法已加粗表示 由实验结果可知下采样能够显著提高条带噪声检测效率并且在一定的下采样范围内能够将遥感影像上的条带噪声准确检出 在本实验中下采样倍数为 时均能将第 列和第 列图 条带噪声遥感影像.表 不同下采样倍数条带噪声检测实验结果.下采样倍数影像大小/像素计算时间/检测结果(列号)第 期白玉川等:基于间隔采样的快速变分条带噪声检测方法的 个多列条带噪声准确检出当采样倍数大于 时条带噪声检测结果中可能会漏检多列条带噪声中边缘处的部分条带噪声列 因此综合检测效率与检测精度本实验中最合适的下采样倍数为.不同条带噪声检测方法对比实验在本实验中除了使用本文提出的基于间隔采样的快速变分条带噪声检测方法另外选取了 种条带噪声检测方法作为比较包括自适应条带噪声检测方法和基于滑动窗口的多列条带噪声检测方法.不含条带噪声的遥感影像条带噪声检测图 所示的不含条带噪声的遥感影像大小为 像素 像素分别使用基于间隔采样的快速变分条带噪声检测方法、自适应条带噪声检测方法和基于滑动窗口的多列条带噪声检测方法对其进行条带噪声的检测 该遥感影像中的条带噪声数量为 因此本实验使用错误率 作为定量评价指标检测结果如表 所示本文所提出的方法已加粗表示 由检测结果可知对于不含条带噪声的遥感影像自适应条带噪声检测方法和基于滑动窗口的多列条带噪声检测方法均会判断该遥感影像中存在条带噪声并且误检的条带噪声数量较多而本文提出的基于间隔采样的快速变分条带噪声检测方法能够准确地判断该遥感影像中不含条带噪声图 不含条带噪声的遥感影像.表 不含条带噪声的遥感影像条带噪声检测结果.检测方法基于间隔采样的快速变分条带噪声检测方法 自适应条带噪声检测方法.基于滑动窗口的多列条带噪声检测方法 .条带噪声遥感影像条带噪声检测图 所示的条带噪声遥感影像大小为 像素 像素该遥感影像中有一个多列条带噪声位于第 列分别使用基于间隔采样的快速变分条带噪声检测方法、自适应条带噪声检测方法和基于滑动窗口的多列条带噪声检测方法对该遥感影像进行条带噪声的检测使用精确率 、召回率 和 得分作为本实验条带噪声检测结果的定量评价指标检测结果如表 所示本文所提出的方法已加粗表示图 条带噪声遥感影像.表 条带噪声遥感影像条带噪声检测结果.检测方法 基于间隔采样的快速变分条带噪声检测方法.自适应条带噪声检测方法.基于滑动窗口的多列条带噪声检测方法 .由检测结果可知对于真实条带噪声遥感影像相比于其他 种方法基于间隔采样的快速变分条带噪声检测方法不会将非条带噪声列判定为条带噪声列 而且从精确率、召回率以及 得分来看基于间隔采样的快速变分条带噪声检测方法表现出更好的检测效果综合分析不含条带噪声的遥感影像条带噪声检测实验和真实条带噪声遥感影像条带噪声检测实验的结果可知基于间隔采样的快速变分条带噪声检测方法的检测效果最好不管是不含条带噪声的遥感影像还是真实条带噪声遥感影像实验中该方法都不会将遥感影像中的非条带噪声列检测为条带噪声列并且该方法能准确地检测出真实条带噪声遥感影像中条带噪声的位置 自适应条带噪声检测方自 然 资 源 遥 感 年法和基于滑动窗口的多列条带噪声检测方法在不含条带噪声的遥感影像条带噪声检测中均会将较多的非条带噪声列检测为条带噪声列在真实条带噪声遥感影像的条带噪声检测中也都存在漏检和误检的情况分析原因可知这 种条带噪声检测方法本质上都只使用了遥感影像中条带噪声的灰度值信息没有顾及条带噪声的特征在地物类型丰富的遥感影像中条带噪声与非条带噪声可能不完全满足这 种方法中的判断条件从而导致自适应条带噪声检测方法和基于滑动窗口的多列条带噪声检测方法的检测结果不够准确 结论针对遥感影像中多列条带噪声的检测本文提出了一种基于间隔采样的快速变分条带噪声检测方法该方法对原始遥感影像进行间隔采样并构建带间隔采样参数的条带噪声成分估计模型对条带噪声成分优化求解并使用一元离群点检测方法得到条带噪声的位置实验结果表明该方法通过间隔采样和针对下采样遥感影像构建带间隔采样参数的条带噪声成分估计模型能显著降低条带噪声成分优化求解的运算量提高计算效率同时在不降低检测精度的情况下检出遥感影像中的单列和多列条带噪声适合用于遥感影像预处理系统条带噪声的自动检测便于后续的条带噪声去除工作也让 探元的响应趋势分析更加准确为遥感卫星的相对辐射定标提供保障参考文献():蒋耿明牛 铮阮伟利等.影像条带噪声去除方法研究.遥感技术与应用():.():.曹艳丽.高光谱图像条带噪声滤除技术的研究.哈尔滨:哈尔滨工程大学.:./():.():.:.胡旭东.高分一号卫星遥感影像条带噪声检测与修复.武汉:武汉大学.:.():.():.():.邢 坤岳春宇刘 爽等.一种基于空间分割的矩匹配卫星影像条带噪声去除方法:中国.:.():./:.():.():.():.():.():.():.:.():.第 期白玉川等:基于间隔采样的快速变分条带噪声检测方法 王 昶张永生王 旭等.遥感影像条带噪声去除的小波变分法.测绘学报():.():.赵书珩.月球高光谱遥感影像复杂条带噪声处理的低秩方法研究.武汉:武汉大学.:.赵英时.遥感应用分析原理与方法.北京:科学出版社:.:.薛利军李自田李长乐等.光谱成像仪 焦平面组件非均匀性校正技术研究.光子学报():.():.刘欣鑫.光学遥感影像复杂条带噪声的变分处理方法研究.武汉:武汉大学.:.闫小明胡旭东尹 烁.卫星遥感影像信息缺失检测.测绘与空间地理信息():.():.():.:(责任编辑:张 仙)