近日，中国科学院深圳先进技术研究院集成所光电工程技术中心李剑平博士团队在海洋观测机器视觉算法研究中取得新突破，设计发展了一种深度学习图像着色算法，可将水下原位拍摄的海洋浮游生物灰度图像自动着色为天然色彩，着色效果极为接近人眼观察。最新研究论文以Colorization for In Situ Marine Plankton Images为题，被国际机器视觉三大顶级学术会议之一的欧洲机器视觉大会(European Conference on Computer Vision，2022 ECCV，10.23日-27日于以色列特拉维夫召开)接收发表，中国科学院大学硕士研究生郭冠男为第一作者，李剑平博士为论文通信作者，来自厦门大学、哈尔滨工业大学（深圳）的数据科学家参与本课题的合作研究。
浮游生物是海洋生态系统的基本组成部分，它们不仅是海洋渔业和水产养殖业的基础，还对全球气候变化和海洋碳汇起着难以估量的影响。因此，对浮游生物的观测不仅是海洋生态科学研究的基础，也是现代海洋生态环境管理不可或缺的手段。 自20世纪90年代初以来，水下显微光学成像技术和仪器被逐步研发利用，通过原位成像观测助力海洋浮游生态系统研究，大大推动了人类对以浮游生物观测为基础的相关科学认知。
近年来，随着技术的发展，越来越多的浮游生物成像仪实现了彩色成像，也有许多实验证明彩色图像能够比灰度图像带来更为丰富的信息，对浮游生物观测起到重要作用。然而，水下彩色成像需要使用白光照明，会导致浮游动物因趋光性大量聚集在水下成像仪器前，改变它们在水下的原有空间分布（如下图所示）。这种非自然的改变，会使导致浮游生物的观测结果产生严重偏差，观测定量无法准确。
由于绝大多数浮游动物对波长较长的红光不敏感，传统的水下成像仪多数使用红光或近红外光照明成像，以避免浮游动物的趋光性聚集。但是，显然这样的拍摄条件只能获得浮游生物的灰度图像。如果能够训练人工智能，将红光照明下获取的灰度图像转换为高保真的彩色图像，则上述问题即可迎刃而解。
针对这一设想，李剑平团队设计并训练了一种基于深度卷积神经网络的浮游生物自动着色算法，命名为IsPlanktonCLR网络。 IsPlanktonCLR网络采用了一种具有自指导功能的双通路网络结构，配合定制化的调色板和逐步聚焦的损失函数，实现了对浮游生物灰度图像的自动化着色，且对稀有物种和普通物种的关键部位的色彩还原具有优异的准确性。
为实现IsPlanktonCLR算法的训练开发，李剑平团队通过长期不懈积累，构建了一个包含上千对浮游生物彩色-灰度原位图像对数据集。利用该数据集，团队不仅训练了着色算法，还与CIC、MemoColor、LetColor、InstCol、Chroma等现有最优水平着色算法进行了性能对比。实验结果证实，无论是在人眼视觉感受效果上，还是在PSNR、SSIM、FID等机器视觉的经典量化指标上，IsPlanktonCLR算法所取得的效果均为最佳。
为使比测实验更加公平，团队进行了一项较大规模的人眼感受评价民众调查。利用网上调查问卷，团队收集了115名志愿者对多种不同模型着色结果与真实图像色彩相似性的评分。这些志愿者包含了海洋学家、浮游生物专家和研究生。统计评分结果进一步证实了IsPlanktonCLR算法的着色效果比现有其他方法更加接近人眼视觉感受。 此外，团队还注意到现有面向图像复原的着色算法普遍缺乏客观、定量的着色评价指标。现有评价指标不仅难以模拟人眼视觉的色彩感知能力，还难以客观量化评价着色图像与真实图像之间的色彩相似程度。
因此，该论文提出了一个融合了色彩直方图、色彩聚合向量、色彩相关图和色彩梯度等彩色特征的图像色彩相似度评价指标CDSIM。通过在海洋浮游生物和自然场景图像上分别开展测试（如下图所示），验证了CDSIM在着色算法效果评价中不仅有效，而且比现有其他指标更适合在科学成像领域的图像着色评价中应用。
IsPlanktonCLR算法的发展为海洋成像观测仪器获取准确、真实的观测结果提供了一种新的人工智能解决方案，其效果不仅直接规避了海洋浮游生物原位成像中因生物趋光聚集所致的观测不准确问题，还有可能为其他海洋生物的成像观测困难或损伤带来新的问题解决思路，为人类探索和认识海洋提供新的技术手段。本项目得到中国科学院和深圳市科技创新计划等项目资助。
浮游生物图像自动着色算法的神经网络结构示意图
CDSIM在海洋浮游生物图像（a）和自然场景图像（b）上的测试结果示例
附件下载：