养殖水体中校色卡识别与色彩变化分析.pdf

文章编号：（）：养殖水体中校色卡识别与色彩变化分析收稿日期：修回日期：基金项目：崂山实验室专项经费（）；中国水产科学研究院基本科研业务费（）；国家自然科学基金项目（）作者简介：李佳康（），硕士研究生在读，主要从事计算机图像处理、深度学习等领域研究。：通信作者：张胜茂（），研究员。：李佳康，张胜茂，吴祖立，石永闯，唐峰华（农业农村部渔业遥感重点试验室，中国水产科学研究院东海水产研究所，上海 ；上海海洋大学信息学院，上海 ）摘要：水下环境中颜色变化是一种常见现象，研究其变化特征可应用于水下图像处理和水产养殖生物监测等。利用校色卡分析不同水深颜色变化的特点，实验中首先对图像进行大小归一化及颜色空间转换；其次用图像与标准色块对比计算差值图像；然后进行轮廓提取并筛选出可能的色块加入候选列表，通过候选列表中的色块计算出原图色卡的位置；再通过仿射变换将原图色卡提取出来；最后，通过比较不同水深图像中色卡色块的颜色值，分析水下环境中的颜色变化。实验结果表明，该方法能够有效地检测和分析水下环境中的色卡，在 的浅水域中检测准确率达到 ，在 的中层水域中检测准确率达到 ，在大于 背景较为复杂深水域中提取准确率达到 ，在占用极小内存空间的情况下达到了较高的识别准确率；通过水下颜色分析得出：随着水深的增加，红色光的吸收和衰减最明显，蓝色光的吸收和衰减也比较多，而绿色光的影响较小。研究内容为利用水下摄影研究水产养殖生物行为提供了参考方法。关键词：校色卡；图像处理；色卡检测；颜色空间；水产养殖中图分类号：文献标志码：光在水环境与空气中的特性存在很大差异，水环境中的光会受到水体的多种因素影响 。水中颗粒物会散射光线，使得水中的光线变弱或扭曲；水会吸收不同波长的光线，红光被吸收较多而蓝光和绿光相对较少；光在水汽交界面还会产生强烈的反射。水环境的复杂性和不可预测性，使得以摄影方式研究水下生物具有一定挑战性。研究水下光学特性和图像处理方法可以提高水下视频影像的质量，使之更好地应用于水产养殖监管与研究。水下图像的获取是水下探测和水下摄影的重要组成部分。然而，由于水下不同颜色对于摄像机传感器的响应不同，水下图像的色彩再现往往会出现偏差。校色卡 是一种色彩参考标准卡片，可提供具有已知颜色的预定义区域，以帮助校准和分析图像的色彩。在水下环境中，使用校色卡可以准确地校正图像的色彩偏差 ，并对不同水深下的颜色变化进行分析。例如，在不同的水深下，不同颜色的物体会表现出不同的颜色偏移和变化。通过对校色卡的分析，渔业信息与战略 年可以获得水下环境中物体的真实颜色，并在水下图像处理中获得更准确的结果。因此，使用校色卡进行水下图像的校正和分析是一种有效的方法，可为水下探测和水下摄影提供更准确的色彩再现。目前，已经有很多关于校色卡检测的研究。和 提出了一种在失真图像中进行半自动校色卡检测的方法，该方法可以在受到扭曲影响的图像中检测出校色卡，具有一定的准确性和鲁棒性。等 提出了一种基于校色卡同时进行几何和色度相机校准的方法，该方法可以在不需要昂贵设备的情况下实现高精度的相机校准。等 研制了一种用于颜色测量和相机校准的工具，可以检测和跟踪图像中的校色卡。和 提出了一种鲁棒的定位方法用于解决在不同照明条件下的校色卡定位问题。崔岩 提出了一种基于模板匹配的校色卡定位分割算法，成功用于 例舌部图像中校色卡的定位。在色彩分析与矫正方面，代成刚等 提出了一种基于亮通道色彩补偿与融合的水下图像增强方法，通过对水下图像进行亮通道分析，提取出亮通道图像，利用亮通道图像的灰度信息进行颜色补偿，从而增强水下图像的颜色，能够有效地提高水下图像的质量和可视性。蔡晨东等 提出了一种基于场景深度估计和白平衡的水下图像复原方法，通过场景深度估计，计算出水下图像中不同深度区域的对应关系，并对不同深度区域的颜色进行白平衡调整，从而还原出原始场景的颜色信息；该方法还利用多尺度分析和自适应去雾算法，进一步提高水下图像的质量和清晰度。宋巍等 提出了一种结合背景光融合及水下暗通道先验和色彩平衡的水下图像增强方法，通过利用水下暗通道先验和颜色平衡调整，提高了水下图像的对比度和颜色还原度；并采用背景光融合的技术，根据水下图像中的背景光信息进行图像修复，进一步提高水下图像的清晰度和可视性。上述关于校色卡检测的研究已经取得了一定的效果，但主要集中在水外环境中，目前关于在水下环境中的校色卡检测方面的研究相对较少，尤其是对于不同水深的情况进行的研究更为稀缺，不同水深条件下校色卡的检测是研究水下色彩变化的重要基础，对于研究水下光线传播与吸收等具有重要意义。通过水下校色卡的不同色块的提取并借助标准色块参数还原进行水下色彩校正，可以量化评估水下色彩恢复的质量效果。这对于环境监测、海洋生物学研究、水下摄影和视频拍摄等领域具有重要意义，可以为相关领域的研究和应用提供准确的颜色数据和图像素材。本实验以千岛湖鲟鱼养殖水域为对象进行实验数据采集，通过提取水下不同深度的校色卡，可以分析不同深度色卡颜色变化情况，有助于了解水下光线传播、散射和吸收的情况，以及水下环境中光的特性，并且可以借助与校色卡的色差进行图像恢复。研究结果有助于水产养殖信息化的发展 以及研究水下生物的生态环境和行为习惯，例如，水下植物 和浮游生物 的深度分布规律和生长条件等，对于水下生物学和海洋学的研究也具有重要意义。材料与方法 实验设备 实验采用 （）手 腕 式 潜 水 深 度 表（图 ，美国）测量潜水员下潜的深度。该设备采用机械式深度显示方式，不需要电池或其他电源来工作，可以在水下使用，具有可靠性高的优点，测量的深度可达 。采用哈克思特 高清水下网络摄像机（哈克思特公司，中国）拍摄视频影像。它是一款专门用于水下监控的设备（图 ），摄像机机芯 万像素，视频帧率为 帧，可用于监控水下景象和水下生物等。该水下摄像机可以安装在海底泳池、潜水器、水下机器人等设备上进行远程探测，同时支持网络传输，可以通过互联网进行远程访问和监控。该设备还具有良好的防水性能，可以在水下深达 的环境下拍摄。采集装置实验采集装置使用 管搭建长方体支架（图 ），在支架底部固定校色卡和深度计，上方顶部固定哈克思特 摄像机，用于进行水下光学实验、水下拍摄和水下监控等多种应用场景。第 期李佳康，等：养殖水体中校色卡识别与色彩变化分析图 实验设备图 图 水下视频采集装置图 实验数据 年 月 日，在浙江省杭州市淳安县千岛湖鲟鱼养殖水域进行实验数据采集。为了更好地了解鲟鱼在养殖水域不同深度颜色变化的情况，共采集 段视频数据，视频源帧率 帧。筛选每段视频中 水深刻度位于 、和 处的视频时长（单位 ），如表 所示。表 视频截取数据 （）视频编号 视频时长 数据集使用 （版本号：）视频播放软件来截取，当 水深刻度分别位于 、和 时，按照每秒提取 帧提取图片数据。当到达 水深后实验装置会静止拍摄，此时提取 张图片数据。共提取出 图片 张，图片 张，图片 张，图片 张，图片 张，图片 张（图 ）。实验方法实验中采用 类库（版本号：）编程，首先对输入图像进行图片归一化，转 颜色空间预处理操作，然后与预定义校色卡的 色块计算获取差值图像，对差值图像进行轮廓识别与处理，选取原图中可能的方形色块，基于选取的色块计算色卡位置，通过仿射变换将色卡标准化输出，最后对提取到的色卡各个色块中心点图 原始影像数据示例图 渔业信息与战略 年计算 像素方格内 （，）均值（图 ）。图像预处理包括 个方面，一是图像大小的归一化，目的是将不同尺寸的图像转化为固定大小的图像，以便于在模型中使用（图 ）；二是颜色空间转换，将输入图像的格式从 （，）颜色空间转为 颜色空间，如公式（）所示，将 颜色空间转为 颜色空间可以更好地分离亮度和色彩信息，降低光照的影响，并且在计算色彩距离时更为准确。（）式（）中，、分别表示在 颜色空间中的对应分量数值，、分别表示在 颜色空间中的对应分量数值。差值图像通过在 颜色空间中逐像素计算输入图像与标准色块的色彩距离得到其对应的颜色差值图像，如公式（）所示。（）（）（）槡（）式（）中，表示欧氏距离，表示输入图像在 颜色空间中任一像素坐标，表示标准色块的 颜色空间像素坐标，、分别表示输入图像在 、通道的分量值，、同理。差值图像的处理首先对差值图像进行阈值分割，可以将颜色差值较小的区域提取出来，通过将像素值与指定的阈值进行比较，将像素分到二值化图像的两类中。实验中将像素值小于 的像素设为最大值，大于等于 的像素设为 ，然后反转二值化图像，使得像素值为白色代表颜色差异较大的区域。之后对上述结果进行闭运算，消除小的噪声和黑点，填充小的空洞，并使物体形状更加连通，方便后续进行轮廓检测。图 实验流程图 第 期李佳康，等：养殖水体中校色卡识别与色彩变化分析在校色卡轮廓检测中通过 类库中的轮廓检测函数可以在二值化或灰度图像中自动寻找并返回所有轮廓的坐标信息和层次信息，对提取到的图像中的轮廓进行条件判断，包括轮廓的面积大小、是否是顶点数为 的凸包、每条边边长是否近似及相邻边的夹角是否不大于阈值，筛选出符合这些条件的轮廓并计算该轮廓的中心点和轮廓颜色以及所在网格的坐标值，添加到正方形候选列表中（图 ）。计算色卡位置是通过前面筛选出的正方形列表来计算其在网格中的水平偏移量和垂直偏移量，将所有水平和垂直偏移量的平均值计算出来，并计算出对角线距离。筛选水平偏移量与平均水平偏移量之间的夹角 ，如公式（）；周长与平均周长之差的比例，如公式（）；正方形中心点到当前计算色卡中心点欧式距离 ，如公式（）；保留 、均小于给定阈值的正方形（图 ）。对于筛选后的正方形，重新计算平均水平偏移量和垂直偏移量，使用平均水平偏移量和垂直偏移量作为基向量，平均水平偏移向量和垂直偏移向量的计算，如公式（）和公式（）所示。将每个正方形的坐标从原图像坐标系转换到色卡中心坐标系下（图 ），以便更容易地进行网格检测和透视变换等操作，如公式（）所示。（）（）式（）中，表示第 个正方形色块的水平偏移向量，表示所有水平偏移向量的平均值。（）式（）中，表示第 个正方形的周长，表示所有正方形周长的平均值。（）式（）中，表示第 个正方形的中心点，表示当前计算色卡的中心点。（）（）（）（）式（）与（）中，和 分别表示平均水平偏移向量和垂直偏移向量，和 分别表示第 个正方形的中心点坐标，和 分别表示所有中心点坐标的平均值，和 表示水平和垂直方向上的单位向量，表示可能的正方形数量。（）式（）中，表示第 个正方形的原始坐标（相对于图像中心），表示经过旋转和平移后的新坐标，表示图像中心坐标（即旧坐标系的原点），表示新坐标系的原点，表示旋转角度。按照坐标系中的 、坐标进行排序，以确定每个正方形的位置，根据排好序的正方形，确定 个边界上最靠左、最靠右、最靠上和最靠下的正方形。利用这四个正方形的位置，确定整个棋盘的位置和大小，对于每个可能的 坐标和 坐标数量，计算所有正方形在棋盘上的位置与他们在原图像中的位置的残差。选择残差最小的组合，作为最终确定的棋盘位置（图 ），如公式（）所示。（，）（）（，）（）（）式（）中，和 分别表示所有正方形在 坐标和 坐标上的残差平方和，和 ，表示第 行第 列正方形在校色卡正方形网格上的位置，和 表示该正方形在原图像中的位置，和分别表示可能的 坐标和 坐标数量，表示总残差平方和。根据计算出的棋盘位置和大小，将每个正方形的位置转换为网格坐标系下的坐标，并计算其相对于棋盘中心点的偏移量，如公式（）所示。，（），（）（，）（），（）式（）式（）中，表示第 行第 列正方形渔业信息与战略 年在网格坐标系下的坐标（以左上角为原点），和 分别表示相邻两行或两列正方形之间的距离，表示网格中心点在网格坐标系下的坐标，（）表示旋转矩阵，表示缩放因子，表示网格中心点在原图像中的坐标，表示经过旋转、缩放和平移后的正方形在原图像中的坐标，表示棋盘中心点在原图像中的坐标，表示相对于棋盘中心点的偏移量。计算最佳的校色卡最大边界，找到使得残差最小的组合，如公式（）所示。（，）（，）（）式（）中，和 ，分别表示第 行第 列正方形在棋盘上的位置，和 表示该正方形在原图像中的位置，表示总残差平方和。根据排好序的正方形，确定 个边界上最靠左、最靠右、最靠上和最靠下的正方形。利用这 个正方形的位置，确定整个棋盘的位置和大小（图 ）。计算出每个正方形在网格坐标系下的位置，以及整个棋盘的位置和大小，检查所有可能的旋转情况，计算每种情况下每个正方形颜色与标准颜色之间的平均误差，选择最小化误差的可能性。对于每个可能的旋转情况，根据与标准颜色之间的平均欧氏距离来评估该情况下的配对质量。通过公式（）计算每个正方形的平均误差。（）式（）中，表示当前正方形的 空间颜色值，表示标准颜色，表示可能的正方形数量，表示欧氏距离。通过透视变换将整个棋盘映射到一个矩形区域中（图 ），变换前的点（，）和变换后的点（，）之间满足公式（）所示关系。像素坐标与实际物理坐标之间的转换，如公式（）所示。（）式（）中 为变换矩阵。（，）（，）（）式（）中，和 表示正方形在网格坐标系下的位置，和 分别表示水平和垂直方向上的偏移量，和 表示色卡的左上角坐标。图 色卡提取过程示意图 第 期李佳康，等：养殖水体中校色卡识别与色彩变化分析 结果通过上述算法可以实现对水下不同深度图像中的色卡提取，但不同水深的提取准确率存在差异，具体如表 所示。表 中准确率的计算如公式（）所示。准确率 识别出色卡数量截取图片数量 （）表 色卡识别准确率统计表 水深位置 截取图片数量 识别出色卡数量准确率 选取第 个视频中的所有截图样本提取出色卡，计算各个色卡 色块的 均值，对相同深度的色卡同位置色块计算 像素方块 均值（图 ），绘制出 色块 各通道数值随深度变化方格图（图 ）、色块颜色随深度变化图（图 ）和三原色随深度变化曲线图（图 ）。通过校色卡的 通道数值不同深度变化曲线图（图 ）可以发现，在 深度范围内，所有颜色块的 通道数值表现出聚集状态，之后随着深度的增加，各颜色块的 通道数值呈现出平行变化趋势。具体而言，通道数值随着水深的增加不断下降，在 处达到均值最高点为 ，在 处达到均值最低为 ，下降了 。通道数值随水深变化先降后增，在处达到均值最低点为 ，在 处达到均值最高点为 ，增加了 。通道数值随着水深先降后增，在 处达到均值最高点为 ，在 处达到均值最低点为 ，降低了 。图 色块提取图 渔业信息与战略 年图 通道数值变化方格图 将提取到的水下色卡与校色卡进行比较，计算每种颜色的色差。将色差值与校色卡中的颜色值进行比较，可以得出需要调整的颜色值。通过调整对比度和自然饱和度来改变图像中各个颜色的亮度和饱和度，使得色差值最小化，对 水深调整后拍摄的鲟鱼图像进行校正，检查校正后的颜色是否与校色卡的颜色值匹配。如果不匹配，则需要重新调整对比度和自然饱和度，直至达到与校色卡的颜色值匹配（图 ）。第 期李佳康，等：养殖水体中校色卡识别与色彩变化分析图 色块变化图 图 通道数值变化曲线图 图 色彩矫正图 渔业信息与战略 年 讨论 实验数据采集本文采用了 手腕式潜水深度表来测量水下摄像的深度，相比使用绳子长度估算物体深度的方法，手腕式潜水深度表能够提供更高精度的深度信息，并且可以减少由于水流动和支架深度等因素的影响产生的误差。在实验中，将 手腕式潜水深度表固定在支架上，通过读取 手腕式潜水深度表显示的数值来获取水下物体的深度信息。并且实验过程中没有使用水下灯和水下摄像机的灯光，主要考虑到水下灯和水下摄像机灯光的照明会产生颗粒物和反光等问题，从而干扰色彩分析和提取校色卡的过程。在实际拍摄中，白天的光线已经足够满足水下 的拍摄要求，因此，实验过程中未采用额外的水下灯和水下摄像机灯。校色卡检测实验结果显示，该算法对不同水深下的校色卡提取准确率略有差异。随着水深的增加，色卡提取的准确率逐渐下降。按照水域深浅程度划分，在浅水域（）内色卡提取准确率均值达到 ，在中层水域（）内色卡提取准确率均值达到 ，在深水域（）内色卡提取准确率均值达到 。该算法能够在浅水域和中层水域中得到较好的色卡提取结果，可以应用于实际研究领域。在深水域中色卡提取较前者表现较差。本文提出的基于校色卡的水下环境色彩分析方法采用普通计算平台即可实现，相较于渔业领域的深度学习大模型较依赖 （，图形处理器）问题 ，本方法可以在普通计算机上运行，无需使用 等高性能计算设备，从而降低了实验成本和技术门槛，增加了该方法的应用范围。水下色彩变化结合 色块 各通道数值随深度变化方格图与曲线图分析可知，随着水深的增加，光线受到的吸收和散射的影响增加，导致对 三原色的影响也有所不同。具体来说红色光的波长较长，被水分子吸收的程度较快。随着水深的增加，光线穿过水体的距离增加，水体对红光的吸收相应增加，使得红光的强度逐渐减小，物体颜色变得更暗淡。相比之下，绿色光在水中传播的距离相对较长，光被水体吸收和散射的影响较小，因此在水下环境中，绿色光线的影响相对较小。在一定程度上，随着水深增加，光的强度衰减更多，不过绿色光的强度衰减却相对较小。蓝色光的波长最短，而水分子对于短波长较敏感，因此，蓝色光在水中的影响会更加明显。水分子对蓝色光的散射较多，使得蓝色光的强度相较于绿色光和红色光更弱，随着水深的增加，蓝色光被吸收的程度也会增加。综上，随着水深的增加，对 三原色的影响是不同的。红色光的吸收和衰减最明显，蓝色光的吸收和衰减也比较重要，而绿色光的影响较小。通过色块颜色随深度变化图可看出，随着水深的增加，水中红光的吸收更加明显，导致物体显得更加暗淡。这样，本来应该是红色或蓝色的物体也会呈现出偏绿色的情况。由于水中绿色光线的传播速度相对较快，导致物体反映出的颜色也会偏绿。这一点在水深较浅的时候，对色彩判断的影响不是很大，但随着水深的增加，则会对检测和分析的准确性造成一定的影响，因此，这些也是造成在深水域中该算法提取色卡准确率有所降低的原因。水下色彩变化应用 等 研究了激光透射率技术在浅海水光学测量中的应用，探讨了绿光透过率随着深度变化的规律。等 利用 时间序列数据分析太湖叶绿素 浓度时空变化的方法，并研究了太湖叶绿素 浓度的季节变化以及空间分布特征。等 探讨了在渤海、黄海和东海中浮游植物群落的空间和时间分布模式，并使用 遥感数据对其进行了分析，探讨了不同光谱波段对浮游植物群落反演精度的影响。上述研究中都以绿光为主要对象进行研究，绿光被广泛应用是因为绿光在水中传播的距离较长，适合于远程探测和测量。除了绿光外，其他颜色的光也可以用于水光学测量，并且具有不同的应用场景和优势。例如，蓝光在水中的传播距离比绿光更短，但在测量水深和水下物体的成像方面具有第 期李佳康，等：养殖水体中校色卡识别与色彩变化分析优势；红光在测量叶绿素 浓度和水体总体色等方面表现出色差变化，具有更高的测量精度。因此，三原色随水深变化的研究可以更全面地探讨水光学测量的规律和应用，从而更好地应对不同的实际应用需求。水下环境的图像色彩变化分析有着广泛的应用，在水产养殖过程中，鱼类的健康状况是养殖人员需要密切关注的重要问题 。鱼类的身体颜色可以反映出它们的健康状态，而且某些疾病可以导致鱼类身体颜色的变化 。因此，本研究可以用于养殖中鱼类健康状况的监测和疾病的早期诊断。使用水下色彩卡进行鱼类跟踪，可以帮助更好地了解鱼类的群体运动和分布规律，探讨鱼类的行为和生态环境之间的关系 ，并且可以为相关领域的研究提供更加精确的数据支持。在渔业生产中，水下鱼网常常会对鱼体造成不同程度的损伤，而这些损伤的严重程度和范围对鱼类的生长和健康状况产生影响。通过采集捕获鱼类的水下图像，并与校色卡比对分析，可以定量评估鱼体受损的程度和范围并且能够有利于提高鱼类目标检测的准确度 。水下考古中，可以通过对水下文物的颜色变化进行分析，推断出文物的材质和年代。在水下生态环境中，可以通过对不同水域中的水生生物的颜色变化进行分析，研究水生生物的生态习性和种类分布情况。综上所述，水下图像色彩变化分析在水下环境中有着广泛的应用前景，能够为水产养殖的研究和监管提供重要的技术手段。本文通过使用 库函数构建出一种水下校色卡检测算法，该算法能够在不同水深环境下完成色卡检测任务，并且在浅水域和中层水域检测效果高达 以上，能够在该水域中进行很好的实际检测任务，并通过实验验证了该算法的高效性。通过分析校色卡不同色块对水深变化的影响得出水下环境中 三原色的变化影响，为后续的水下图像处理和算法设计提供了重要的参考数据。同时，该算法还可以为水下环境中的研究和工程应用提供有用的技术支持，如水下航行、水下物体识别和水生生物学研究等领域。参考文献：代成刚，林明星，王震，等 基于亮通道色彩补偿与融合的水下图像增强 光学学报，（）：崔帅，张骏，高隽 深度残差学习下的光源颜色估计 中国图象图形学报，（）：，：，：，：，：，：崔岩一种基于模板匹配的 定位分割算法 现代计算机（专业版），（）：代成刚，林明星，王震，等 基于亮通道色彩补偿与融合的水下图像增强 光学学报，（）：蔡晨东，霍冠英，周妍，等 基于场景深度估计和白平衡的水下图像复原 激光与光电子学进展，（）：宋巍，王颵，黄冬梅，等结合背景光融合及水下暗通道先验和色彩平衡的水下图像增强 模式识别与人工智能，（）：刘世晶，李国栋，涂雪滢，等 水产养殖生产信息化技术发展研究 渔业现代化，（）：徐超，厉恩华，杨娇，等 基于水下光照条件和种子库分布指示沉水植物恢复区：以金湖为例 水生生物学报，（）：王龙燕，闵文武，王金乐，等 集装箱循环水养殖系统中浮游植物群落结构特征及影响因素 渔业现代化，（）：王书献，张胜茂，唐峰华，等 在日本鲭捕捞渔船行为提取中的应用 农业工程学报，（）：张佳泽，张胜茂，王书献，等 基于 融和模型的毛虾捕捞渔船行为识别 南方水产科学，（）：，（）：，：，：张方言，赵梦，周弈志，等 基于 和迁移学习渔业信息与战略 年的红鳍东方病鱼检测方法 渔业现代化，（）：赵建华，杨德国，陈建武，等鱼类应激生物学研究与应用 生命科学，（）：田甜，张建明，张德志 种长江珍稀鱼类常见疾病快诊速查检索表的构建 水产科技情报，（）：裴凯洋，张胜茂，樊伟，等 基于计算机视觉的鱼类视频跟踪技术应用研究进展 海洋渔业，（）：刘洋，张胜茂，王书献，等 水族馆鱼类目标检测网络优化研究 渔业现代化，（）：张胜茂，刘洋，樊伟，等 基于 的水族馆鱼类目标检测 开发 渔业现代化，（）：，（，；，）：，：；