中科院海洋所海洋数值模拟和气候预测课题组利用基于时空注意力机制的神经网络模型，构建了可用于海气耦合系统多变量三维（3D）场预测任务的人工智能（AI）模式并将其应用于ENSO预测研究，首次成功实现了对ENSO相关的三维海温场和风应力场的跨年度准确预测，相关成果近日发表在国际综合类TOP期刊Science Advances (IF=14.957)。 

　　近几年来，基于大数据的 AI 模型已成功应用于天气预报和气候预测等领域。这些数据驱动的神经网络模型在特定任务中的性能已达到甚至超越当前先进的动力模式，成为促进地球系统建模发展的重要工具。但目前多数神经网络模型是针对特定变量、特定任务来构建的，受限于算法与建模等难度，多数模型仅能对单点时间序列或单变量场进行预测, 而对多变量三维场时空演变的长时间预测仍存在很大的挑战。 

　　针对上述问题，研究团队基于改进型的 Transformer 模型，在充分考虑海气变量场间的强时间依赖性和空间非局地相关性等耦合特征的基础上，率先成功构建了由数据驱动的多变量3D场的海气耦合系统预测模型（简称为3D-Geoformer），并将其成功应用于厄尔尼诺与南方涛动（ENSO）相关的3D上层海洋温度场及海表风应力场的跨年度预测试验。该模型克服了传统神经网络算法（如循环神经网络（RNN））中串行计算效率低和梯度易消失等劣势，通过特别设计的时空多头注意力机制模块，能有效提取格点序列时间依赖特征和多变量场空间非局地相关性，更合理表征了多变量数据的3D时空演变特征及其内在的动力学关系，最终成功实现了对热带太平洋海气多变量三维场的长时间准确预测（如Nino3.4区海温异常的有效预测时长超过18个月）；对2015-2016年超强厄尔尼诺事件的预测表明，该模型能合理表征3D温度场时空演变及与风场间的耦合。 

利用该模型预测2015-16年超强厄尔尼诺事件的例子

（a）不同月份开始预测得到的Nino3.4区海温异常及再分析结果（其中虚线为热带太平洋风应力影响去除后的试验结果）；（b-m）为从2015年4月起开始预测得到的风应力及上层海洋三维温度异常场的时空演变 

　　该研究创新性地将基于时空注意力机制的 Transformer 模型应用于 ENSO预测和其海气耦合动力过程的表征，首次实现了从单一变量、单点（或区域平均）的时间序列预测到多变量、三维立体场时空预测的重要跨越，为 ENSO预测提供了一个新的有效工具。另外，该3D-Geoformer模型良好的可拓展性允许其稍加修改即可方便地应用于更大区域、更多变量的预测任务，对促进人工智能技术在气候变化研究中的应用有重要意义。 

　　本研究由中科院海洋所博士研究生周路、南京信息工程大学张荣华教授共同完成，研究得到了国家自然科学基金、中国科学院战略性先导科技专项和南京信息工程大学人才启动经费项目联合资助。 

　　文章信息及链接： 

　　Zhou, L., and R.-H. Zhang, 2023: A self-attention based neural network for three-dimensional multivariate modeling and its skillful ENSO predictions. Science Advances, 9, eadf2827, https://doi.org/10.1126/sciadv.adf2827.