IBM 和 NASA 的天气和气候多功能 AI 模型 - IBM 研究中心

2024-09-23 12:00:00 英文原文

推出 Prithvi WxC,一种新的天气和气候通用人工智能模型

IBM 与 NASA 合作发布了一个开源基础模型,该模型可以针对各种天气和气候相关应用程序进行定制,并在台式计算机上运行。

IBM 与 NASA 合作发布了一个开源基础模型,该模型可以针对各种天气和气候相关应用程序进行定制,并在台式计算机上运行。

人工智能天气预报的未来前景光明。一些基于历史天气数据训练的深度学习模型已经可以与传统天气模型的性能相媲美,这些模型在传统上很少有人能够访问的大型超级计算机上模拟物理过程。

与 NASA 合作,IBM 希望构建的不仅仅是另一个 AI 预测模型。相反,我们的目标是通过通用人工智能模型推动事情向前发展,该模型可以针对不同空间尺度的一系列实际天气和气候应用进行定制。今天,在橡树岭国家实验室的贡献下,他们在 Hugging Face 上开源了这项工作的成果,距离开始设计成熟的天气和气候基础模型还不到一年。

我们花了几周的时间和数十个 GPU 来根据 MERRA-2 中 40 年的历史天气数据训练模型。MERRA-2 是 NASA 的卫星和其他历史地球观测数据的统一数据集。NASA MERRA-2 重新分析。但现在可以针对不同的用例快速调整模型,并在几秒钟内从台式计算机提供服务。潜在的应用包括根据当地天气数据创建有针对性的预报、预测极端天气事件、提高全球气候模拟的空间分辨率以及改进传统天气和气候模型中物理过程的表示。

帮助开发该模型的 IBM 气候研究员 Campbell Watson 表示,我们设计的基础模型是为了让人们能够快速剥离和运行新应用程序,从而让所有前期投入的辛勤工作和 GPU 时间都能得到回报。

p>

在一项实验中,该模型提取了一个微小的局部天气数据样本,并通过填充 95% 的缺失值来准确重建全球表面温度。IBM 欧洲研究院院长兼 IBM 气候与可持续发展负责人 Juan Bernab-Moreno 表示,从高质量历史数据的微小样本推广到整个地球的能力对于广泛的天气和气候预测任务非常有用。.

arXiv 上发布的一篇新论文描述了新的天气和气候基础模型。在论文中,研究人员描述了他们如何构建模型并根据专业数据对其进行微调,以创建与预报员直接相关的三个应用程序。

第一个应用程序旨在放大低分辨率数据以获取更多细节,这种方法称为缩小尺寸。通过本地化天气和气候预测,降尺度可以提供极端洪水事件或飓风即将来临的早期预警。

IBM 发布了一个缩减模型,作为 IBM Granite 系列的一部分。它获取不同分辨率和类型的数据,例如温度和降雨量,并将它们放大最多 12 倍。通过降尺度,以前在传统气候模型中只能从 150 平方公里的角度观察导致山洪暴发的强降雨,现在可以在 12.5 平方公里的范围内观察到。缩小应用程序可通过 Hugging Face 获得。

第二个重点是飓风预报。研究人员使用该模型准确重建了飓风艾达的路径,飓风艾达于 2021 年袭击了路易斯安那州,造成了 750 亿美元的损失,成为有记录以来损失第四大的大西洋飓风。将来,该模型可用于更准确地跟踪在哪里加强防御来袭的飓风。

IBM 和 NASA 的第三个应用程序旨在改进重力波的估计。在地球大气层中,重力波影响云的形成和全球天气模式,例如飞机湍流出现的地方。传统的气候模型无法正确捕捉高分辨率的重力波,增加了天气和气候预测的不确定性。这可能会改变全球供应链的协调。

另外,IBM 正在与加拿大气象局(加拿大环境与气候变化部)合作,定制降水临近预报的基本模型,其中涉及使用实时雷达数据对几小时后的高度本地化降雨进行预测。希望数据驱动的基础模型方法可以使用更少的计算资源并提供更准确的结果。

这个新的天气和气候基础模型加入了越来越多的开源模型系列,旨在使 NASA 更快、更容易地分析卫星和其他地球观测数据集的收集。该模型的灵活性归功于其混合架构和不寻常的训练方案。

它建立在视觉转换器和屏蔽自动编码器的基础上,允许模型对随时间展开的空间数据进行编码。通过将模型注意力机制扩展到包括时间,它能够分析 MERRA-2 再分析数据,该数据集成了多个观测数据流。

该模型还能够像传统的网格气候模型一样在球体上运行,也可以在平坦的矩形表面上运行。这些双重表示允许模型从全球视图翻转到区域视图,而无需牺牲分辨率。

在训练过程中,研究人员向模型提供网格化、严重遮光的气候再分析数据,并让它逐像素重建每个图像。他们还让模型将黑色图像投射到未来。帮助开发该模型的 IBM 研究人员 Johannes Schmude 表示,该模型有效地了解了大气如何随时间演变。

要求模型将不完整的天气数据拼凑起来并预测其未来状态有两个好处。研究人员将训练模型所需的数据量减少了一半,从而减少了 GPU 和能耗。它还教会模型如何在当下和未来填补缺失的信息。这本质上就是天气预报员所做的事情。

施穆德说,天气数据本质上是稀疏的。要学习如何预测,您必须学习如何填补空白。

IBM 和 NASA 计划看看他们现有的用于分析地球观测数据的开源地理空间人工智能模型是否可以与他们的新天气和气候模型相结合。去年发布的 Prithvi 地球观测模型已发展成为一系列广泛的应用程序,下载量总计超过 10,000 次。除此之外,这些应用程序还被用来估计过去洪水的范围,并根据烧伤痕迹推断过去野火的强度。

地球观测以及天气和气候模型可以一起应用于同样具有挑战性的任务,从预测预期农作物产量到预测极端洪水事件及其对社区的影响。

注释

  • 注 1:MERRA-2 是 NASA 的卫星和其他历史地球观测数据的统一数据集。
关于《IBM 和 NASA 的天气和气候多功能 AI 模型 - IBM 研究中心》
暂无评论

摘要

推出 Prithvi WxC,一种新的天气和气候通用人工智能模型IBM 与 NASA 合作发布了一个开源基础模型,该模型可以针对各种天气和气候相关应用程序进行定制,并在台式计算机上运行。IBM 欧洲研究院院长兼 IBM 气候与可持续发展负责人 Juan Bernab-Moreno 表示,从高质量历史数据的微小样本推广到整个地球的能力对于广泛的天气和气候预测任务非常有用。。它建立在视觉转换器和屏蔽自动编码器的基础上,允许模型对随时间展开的空间数据进行编码。去年发布的 Prithvi 地球观测模型已发展成为一系列广泛的应用程序,下载量总计超过 10,000 次。地球观测和天气和气候模型可以一起应用于同样具有挑战性的任务,从预测预期农作物产量到预测极端洪水事件及其对社区的影响。