近日，中国科学院海洋研究所李晓峰研究员、王凡研究员等在《国家科学评论》（National Science Review, NSR）发表综述文章Deep Learning-Based Information Mining From Ocean Remote Sensing Imagery(基于深度学习的海洋遥感影像信息挖掘），系统总结和分析既有研究成果，提出并验证相应深度学习模型，并对未来研究方向进行探讨。 

　　海洋遥感大数据与深度学习的碰撞 

　　人类文明直接受益于海洋。海洋可以控制和调节全球气候，并为人类提供丰富的食物与资源、经济便捷的运输途径，以及高科技产业的发展空间。认知海洋、开发海洋、保护海洋是人类孜孜不倦的追求。

　　自1978年第一颗海洋遥感卫星SEASAT成功发射运行以来，经过近半个世纪的发展，在轨运行的海洋遥感传感器数量急剧增长（图1），覆盖温度、盐度、风场、高度、海冰、内波、涡、生物量、舰船、溢油、珊瑚礁、海岸带等等诸多方面。遥感信息极大促使和丰富了人们对于海洋的认知。随着卫星和传感器技术的发展，海洋遥感数据朝着更加大量（Volume）、快速（Velocity）、多变（Variety）和真实（Veracity）的方向发展，而其中蕴含的高价值（Value）信息则是稀疏存在、需要挖掘的，从而体现出大数据的5V特点。海洋遥感进入大数据时代，亟待研究高效、准确、稳定的信息挖掘模型、技术与系统。 

图1. 深度学习与海洋遥感大数据的碰撞将催生一系列高精度、高效率、智能化的海洋遥感影像信息挖掘模型与应用技术，最终将会诞生人工智能海洋学

　　从海洋遥感影像中进行信息挖掘，有两类重要的基础性问题：基于像素级的分类和基于对象级的检测。这些问题的传统解决思路是物理建模、统计建模、人工设计特征结合分类器等。在很长时间内，这些思路发挥着重要作用，但是也存在泛化能力有限、稳定性不足的性能瓶颈。

　　自2012年以来，深度学习在海量图像数据信息挖掘中大放异彩，其采用“端对端”的特征学习，通过多层处理机制揭示隐藏于数据中的非线性特征，从大量训练集中自动学习全局特征（这种特征被称为“学习特征”），这是其在图像信息挖掘领域取得成功的重要原因，也标志着特征模型从人工设计特征向机器学习特征转变。可以预见的是，深度学习与海洋遥感大数据碰撞将诞生一系列高精度、高效率、智能的海洋遥感影像信息挖掘模型与应用技术（图1）。

　　在此背景下，中国科学院海洋研究所李晓峰研究员为第一作者，王凡研究员为通讯作者，柳彬（上海海洋大学）、郑罡（自然资源部第二海洋研究所）、任沂斌、刘颖洁、高乐、张斌（中国科学院海洋研究所）、张双尚（河海大学）与刘玉海（中科曙光）等为共同作者，在National Science Review 发表综述文章Deep Learning-Based Information Mining From OceanRemote Sensing Imagery (基于深度学习的海洋遥感影像信息挖掘），深入调研现状，系统总结过去几年的研究成果，对基于深度学习的海洋遥感影像信息挖掘、特别是像素级图像分类与对象级目标检测进行深入剖析和阐述，提出相应的深度学习模型，在内波提取、海岸带水淹区域制图、全球中尺度涡检测等八个典型应用上进行性能验证，并对未来需要重点突破的几个问题进行探讨。

　　海洋遥感影像信息挖掘深度学习模型 

　　针对像素级影像分类、对象级目标检测这两个基础问题，该文分别基于经典的U-Net架构（像素级分类）和SSD架构（对象级检测）提出适合于海洋遥感影像的深度学习模型（图2）。 

　　该模型具有两个特点：

　　（1）将海洋遥感物理机理与深度学习网络进行结合，是海洋遥感影像信息挖掘的定制化模型；

　　（2）采用模块化的设计和阐述思路，有利于在其他类似的海洋遥感应用问题中实现模型的复用和推广。

图2. 模块化的海洋遥感影像信息挖掘深度学习模型 (a) 用于像素级图像分类的模型；(b) 用于对象级目标检测的模型

　　该文选取内波提取、海岸带水淹区域制图、全球中尺度涡检测（图3）、溢油区域提取、海冰检测、绿藻提取、舰船检测、珊瑚礁检测等八个典型海洋遥感应用进行验证，均取得了精准、高效的性能，并且在复杂背景、系统参数干扰情况下保持了性能的稳定性，证实提出的海洋遥感影像信息挖掘深度学习模型的科学价值与应用前景。

图3. 基于深度学习的全球中尺度涡检测 (a) 2019年1月1日全球检测结果；(b) 在南海区域的局部放大图；(c)-(f)涡旋内Drifter浮标在不同时刻的轨迹

　　未来研究的重点 

　　基于深度学习的海洋遥感影像信息挖掘已展示出其强大的性能，在未来，尚有几个问题需要重点突破： 

　　（1）基于深度学习的模型需要大量匹配真值的观测数据进行驱动和验证，这需要集合整个海洋科学领域的力量，融合多种观测手段，构建标准数据集，才能够快速推动领域的发展。

　　（2）目前遥感影像信息挖掘的深度学习模型大部分来自于计算机视觉领域，针对海洋遥感问题，需要深度融合海洋科学领域知识，构建适用于领域的模型，既实现海洋科学的探索，也能反过来促进深度学习通用模型的发展。

　　（3）对于同一海洋现象，不同类型的传感器都有可能实现观测，但是信息挖掘所需特征差异巨大，需要研究面向不同传感器均能稳定发挥的深度学习模型，这样能够提升模型的泛化能力和实用价值。

　　除该文关心的两种经典深度学习网络架构外，根据实际问题所需，有许多经典网络架构可供选择，如DeepLab系列、Faster R-CNN、YOLO系列等。此外，随着AI技术的发展，自动最优化的设计网络架构在未来也将成为可能。当然，AI所引发的伦理道德法律问题不容忽视，利用遥感影像结合AI侵犯隐私、利用AI技术生成虚假的遥感影像实现不法目的，这些都引起人们的担忧，需要学界对此进行思考和研究、对AI进行引导和约束。

　　论文信息：

　　DeepLearning-Based Information Mining From Ocean Remote Sensing Imagery. https://doi.org/10.1093/nsr/nwaa047