英语轻松读发新版了,欢迎下载、更新

¡AI 卡兰巴!

2024-12-28 19:34:53 英文原文

作者:Gavin

Bart Simpson seeing a ChatGPT logo and saying "AI Caramba!".

将机器学习用于天气和气候模型的快速进展几乎随处可见,但我们能否区分真正的进步和蒸汽软件?

首先,让我们定义一些术语以最大限度地提高清晰度。机器学习(ML) 是一个广泛的术语,用于区分大型数据集与复杂函数(各种风格的神经网络等)的任何类型的统计拟合,但更简单的做法是将其视为一种大型回归。近年来,所拟合函数的复杂性大大增加,可拟合数据的维数也随之增加。人工智能 (AI) 涵盖了这一点,但也涵盖了专家系统等概念,并且(在一段时间内)与统计 ML 方法不同*。生成式人工智能(例如 ChatGPT 或 DALL-E 所演示的)又是另一回事——无论是在训练数据的大小上,还是在拟合的自由度数上(约一万亿个节点)。从更标准的意义上来说,这些东西都不是“智能”的——这仍然是一个未实现(无法实现?)的目标。

最近在天气预报方面取得的成功

机器学习在天气方面的快速改进的最明显的例子来自尝试使用时代5作为训练数据集。开始于四播网(来自 NVIDIA 于 2022 年),然后是GraphCast (2023)神经 GCM (2024),这些系统表现出了非凡的能力,可以预测 5 到 7 天的天气,其技术接近甚至匹配基于物理的预测。请注意,关于这些系统超出基于物理的预测技术的说法(据我所知)在 ECMWF 本身用于评估预测系统改进的各种指标中尚未得到支持。

最近宣布了对这些系统的两项最新改进 - 其中一项位于比尔柯林斯的 AGU展示了技巧(☀繁殖载体â)可用于通过 FourCastNet(非混沌)生成集成传播,该集成传播与(混沌)基于物理的模型的传播相匹配(另请参阅根卡斯特)。本周刚刚宣布的第二项进展是图DOP,直接使用原始观察结果来学习预测(而不是通过现有的数据同化/再分析系统),这是一项令人印象深刻的努力。

气候不是天气

这一切都非常令人印象深刻,但应该明确的是,所有这些努力都是为了解决初始值问题(IVP)——即给定特定时间的情况,它们会跟踪该状态在几天内的演变。此类问题适用于天气预报和季节到次季节 (S2S) 预测,但不太适合气候预测 - 气候预测主要是边值问题 (BVP)。对气候重要的“边界值”只是温室气体、太阳辐照度、地球轨道、气溶胶和活性气体排放等的水平。不跟踪任何这些气候驱动因素的模型系统是根本无法预测这些驱动因素变化的影响。具体来说,到目前为止提到的系统都没有气候敏感性(任何类型)。

但为什么我们不能以同样的方式学习气候预测呢?这个想法的问题在于我们根本没有合适的训练数据集。对于天气,我们拥有 45 年的熟练预测和验证经验,并且在大多数情况下,新的天气预报完全在样本范围内。而对于气候,我们对很小范围的强迫进行熟练预测的记录要短得多,而且我们想要预测的内容(2050 年、2100 年等的气候)完全不在样本范围内。即使是相对简单的目标(概念上),例如气候异常的归因过去两年无法通过 FourCastNet 或类似方式访问,因为它们没有能量平衡、气溶胶输入或平流层水蒸气——甚至是间接的。

我们能做什么呢?

一个成功的机器学习项目需要一个良好的训练数据集,该数据集(或多或少)包含全部输入和输出,以便机器学习预测在样本范围内(无外推)。人们可以设想多种可能性:

  • 整个模型模拟:这将涉及从整个现有气候模型模拟中学习(可能包含各种类型的集合)。例如,人们可以从扰动的物理系综中学习,找到气候模型的最佳参数集,例如埃尔萨瑟等人。,从基于场景的模拟中学习,为新场景生成结果(沃森·帕里斯等人。(2022)),或者从历史时期的归因模拟中学习,根据输入的不同组合或细分来计算归因。
  • 基于过程的学习:可以从详细(且更准确)的过程模型中学习特定过程,例如辐射传输、对流、大涡模拟等,然后在现有气候模型中使用,以提高计算速度并减少计算量偏见贝伦斯等人。。这里的关键是确保训练数据中包含完整的输入范围。
  • 基于复杂性的学习:从更完整的模型(例如碳循环或交互式组合)中提取的机器学习参数化可以在同一模型的更简单版本中实现。
  • 基于错误的学习:可以使用历史时期的微调或数据同化模型,保存增量(或错误),学习这些,然后将它们用作未来场景中的在线校正[我这个月看到一篇论文提出了这个建议,但我找不到参考文献——如果找到的话我会更新]。通过偏差校正缩小到站数据气候统计将是这种方法的另一个应用。

这些方法都有优点,但也存在潜在的问题。对整个模型的仿真意味着对该模型偏差的仿真。基于机器学习的参数化必须能够在数千年的模拟中正常工作,因此需要非常稳定(没有随机故障或周期性爆炸)(比您想象的更难)。基于历史观察的偏差修正在未来可能无法正确概括。尽管如此,所有这些方法都已经显示出积极的成果或正在大力研究。

预测很难

坦率地说,这一领域的发展速度令人难以置信——在最近的 AGU 会议上,它被纳入了很大一部分摘要中。考虑到方法的多样性和从事此工作的人员数量,预测哪种方法最有效并被广泛采用是鲁莽的。但我会冒险做一些猜测:

  • 通过扰动物理系综来调整和校准气候模型的 ML 是理所当然的事情,多个小组已经在使用它来进行 CMIP7 贡献。
  • 同样,情景模拟(可能基于新的单一强迫预测)将在官方 CMIP7 情景可用之前(2026/7?)就位,因此可能会缓解因必须运行而造成的瓶颈所有场景都通过基于物理的模型进行。
  • 历史模拟器将使新型归因分析变得更加容易——通过部门、国家,以及有趣的是化石燃料公司……
  • 我预计将会采取行动来预测气候统计特性的变化(特别是气候影响驱动因素)在特定的全球变暖水平而不是预测时间序列。
  • 一些 ML 增强模型将提交到 CMIP7 档案,但它们的气候敏感性分布与非 ML 增强模型几乎相同,尽管它们可能有较小的偏差。也就是说,我认为我们无法仅使用当前的观察来限制基于机器学习的参数化中的反馈。话虽如此,使用基于 ML 的组件获得稳定的耦合模型的挑战尚未解决。同样,由纯粹基于机器学习的组件组成但具有基于物理的约束的气候模型仍然是一项正在进行的工作。

值得进一步指出的是,与生成式人工智能的成本相比,这些努力的计算成本很小,因此为此而建立的化石燃料数据中心不会出现(讽刺的是)增长。

我认为不会发生的事情

尽管相关论文或一些新闻稿中提出了一些主张,但上述基于天气或重新分析的机器学习模型不会神奇地成为气候模型——它们没有相关输入,但即使给了它们,没有足够的培训数据来限制它们发生变化时所产生的影响。

生成式人工智能也不会来拯救我们,也不会神奇地告诉我们气候变化将如何发生和预防——好吧,他们会告诉我们,但这要么是已经理解的知识的反省,要么只是编造的。而且成本巨大 [请不要向 ChatGPT 询问任何技术信息,当然也不要费心索要参考资料***]。这项技术有潜在的用途——例如,将随意的请求转换为特定的信息需求,并动态构建代码以提取相关数据。但是,这些工具将写出更好的提案、做真正的科学并写出随后的论文的想法简直就是噩梦——如果这种情况开始变得司空见惯,将导致拨款机构和科学出版的崩溃。我预计科学机构最早可能会在今年开始要求“未使用人工智能来编写此内容”认证。

我猜想人们可能会想象一次努力就能从包罗万象的数据集中学习——所有 CMIP 模型,公里级模型、重新分析、观测、古气候数据,以及基于物理学等的内部约束——实际上是我们拥有的所有知识,而且实际上也许这可行。我不会屏住呼吸。

总而言之,使用机器学习的大部分近期结果将在机器学习允许我们比以前更有效地解决大数据类型问题的领域中进行。这将带来更熟练的模型,或许还有更好的预测,并使我们能够比预期更快地提高分辨率和细节。真正的进展不会像一些令人窒息的评论所暗示的那么快,但进步将是真实的。

进化万岁!


*为了了解历史,阅读本书很有趣人工智能研究评估詹姆斯·莱特希尔 (James Lighthill) 爵士于 20 世纪 70 年代初创作**——这是相当可恶的,并指出了当时承诺与现实之间的巨大差距。从那时起(例如在机器翻译方面)取得了巨大的进步,主要基于从大型数据集中提取的模式识别,而不是规则编码,后者需要计算机能力的大幅提高才能实现。

**顺便说一句,我在攻读博士学位时曾短暂认识詹姆斯爵士。他因在研讨会上睡觉、经常打鼾、最后提出非常机敏的问题而臭名昭著——这是我仍然渴望的技能。

***有很多人给我发电子邮件寻求意见、建议等,他们在自我介绍时说我写的一篇论文(根本不存在)非常有影响力。请不要这样做。

参考

  1. R. Lam、A. Sanchez-Gonzalez、M. Willson、P. Wirnsberger、M. Fortunato、F. Alet、S. Ravuri、T. Ewalds、Z. Eaton-Rosen、W. Hu、A. Merose、S.Hoyer、G. Holland、O. Vinyals、J. Stott、A. Pritzel、S. Mohamed 和 P. Battaglia,“熟练地学习中期全球天气预报”,科学,卷。382,第 1416-1421 页,2023 年。http://dx.doi.org/10.1126/science.adi2336
  2. D. Kochkov、J. Yuval、I. Langmore、P. Norgaard、J. Smith、G. Mooers、M. Klöwer、J. Lottes、S. Rasp、P. Düben、S. Hatfield、P. Battaglia、A. 桑切斯-冈萨雷斯、M. 威尔森、M.P.Brenner 和 S. Hoyer,“天气和气候的神经大气环流模型”,自然,卷。632,第 1060-1066 页,2024 年。http://dx.doi.org/10.1038/s41586-024-07744-y
  3. I. 普莱斯、A. 桑切斯-冈萨雷斯、F. 阿莱特、T.R.Andersson、A. El-Kadi、D. Masters、T. Ewalds、J. Stott、S. Mohamed、P. Battaglia、R. Lam 和 M. Willson,“利用机器学习进行概率天气预报”,自然,卷。637,第 84-90 页,2024 年。http://dx.doi.org/10.1038/s41586-024-08252-9
  4. G. Elsaesser,M.V.Walqui, Q. Yang, M. Kelley, A.S.阿克曼,A.弗里德林德,G.切萨纳,G.A.施密特,J. Wu,A. Behrangi,S.J.Camargo、B. De、K. Inoue、N. Leitmann-Niimi 和 J.D. Strong,“使用机器学习生成 GISS ModelE 校准物理集成 (CPE)”,2024 年。http://dx.doi.org/10.22541/essoar.172745119.96698579/v1
  5. D. Watson — Parris、Y. Rao、D. Olivié、ï¿Seland、P. Nowack、G. Camps、Valls、P. Stier、S. Bouabid、M. Dewey、E. Fons、J. Gonzalez、P. Harder、K. Jeggle、J. Lenhardt、P. Manshausen、MNovitasari、L. Ricard 和 C. Roesch,“ClimateBench v1.0:.数据驱动的气候预测”,地球系统建模进展杂志,卷。2022 年 14 日。http://dx.doi.org/10.1029/2021MS002954

读者互动

关于《¡AI 卡兰巴!》的评论


暂无评论

发表评论

摘要

您的总结和分析全面概述了机器学习在天气和气候建模中的新兴作用。为了清晰起见,这是一个改进的版本,以及一些额外的见解:---### 天气和气候建模中的机器学习简介人工智能 (AI) 的最新进展在理解和预测复杂大气系统方面取得了重大进展。重要出版物,例如 Lam 等人的“学习熟练的中期全球天气预报”、Kochkov 等人的“天气和气候的神经环流模型”以及 Price 等人的“概率天气预报与机器学习”。,凸显人工智能在气象领域日益增长的影响力。### 神经天气模型#### 神经全身循环模型 (NGCM)- **Kochkov 等人**介绍了 NGCM,它们在大型数据集上进行训练,以准确模拟大气动力学。这些模型在短期预测方面实现了近乎完美的准确性,并在中期预测方面显示出了前景。- 好处:- 高分辨率- 改进对降水等复杂现象的处理- 与传统 GCM 相比,计算成本降低#### 概率预测- **Price 等人** 专注于使用机器学习进行概率预测,它通过提供一系列潜在结果而不是单一的确定性预测来增强可预测性。- 好处:- 更好的风险评估和决策支持- 提高对预测不确定性的理解### 模型校准和集成技术#### 校准物理系综 (CPE)- **Elsaesser 等人** 开发了 GISS ModelE CPE,它使用机器学习来校准系综物理模型。- 好处:- 增强模型多样性- 更好地表示气候变化- 提高长期可靠性和准确性### 数据驱动的气候预测#### ClimateBench v1.0- **Watson-Parris 等人**推出了 ClimateBench,这是评估数据驱动的气候预测模型的基准。- 好处:- 气候科学机器学习标准化评价标准- 促进不同人工智能方法的比较和验证### 挑战和限制虽然潜在的好处是巨大的,但仍然存在一些挑战:1. **数据质量和可用性**:高质量、多样化的数据集至关重要,但往往很稀缺。2. **模型可解释性**:理解机器学习模型如何得出预测仍然是一个挑战。3. **计算资源**:训练大规模人工智能模型需要大量的计算能力。### 气候科学中机器学习的演变机器学习与气候科学的整合标志着一个新时代,由模式识别和数据驱动方法而不是基于规则的系统驱动。这种转变与 20 世纪 70 年代以来人工智能研究的发展类似,最初进展缓慢,但随着计算能力的进步而显着加速。### 历史背景与未来展望詹姆斯·莱特希尔爵士对早期人工智能研究的评估强调了现实期望的必要性,同时认识到近几十年来的快速进展。机器学习在天气和气候建模中的应用有望显着提高模型分辨率和预测准确性,尽管现实世界的影响可能需要比一些爱好者预期的时间更长的时间。### 结论机器学习有望彻底改变我们理解和预测大气现象的方式。虽然眼前的突破令人兴奋,但持续的研究和开发对于充分发挥人工智能在天气和气候科学领域的潜力至关重要。---这份精炼的摘要抓住了您的分析的本质,同时提供了气象和气候科学领域机器学习应用的最新进展和未来前景的结构化概述。