视觉 - 语言模型遇上气象学：利用热力图开发极端天气事件检测模型

Jun, 2024

视觉 - 语言模型遇上气象学：利用热力图开发极端天气事件检测模型

Vision-Language Models Meet Meteorology: Developing Models for Extreme Weather Events Detection with Heatmaps

Jian Chen, Peilin Zhou, Yining Hua, Dading Chong, Meng Cao...

TL;DR实时检测和预测极端天气，通过将其作为一个视觉问答问题重新定义，引入了一种更精确、自动化的解决方案。利用视觉语言模型同时处理视觉和文本数据，我们的研究提供了一种有效的辅助分析气象热图过程的方法。通过介绍气候问答数据集 ClimateIQA 和基于 OpenCV 和 K-Means 聚类的 SPOT 技术，我们的模型集合 Climate-Zoo 在极端天气事件检测中取得了显著的性能提升。该研究中的数据集和模型可供未来的气候科学研究使用。

Abstract

Real-time detection and prediction of extreme weather protect human lives and infrastructure. Traditional methods rely on numerical threshold setting and manual interpretation of weather heatmaps with Geographic Information Systems (GIS), which can be slow and error-prone. Our research redefines Extreme Weather Events Detection (EWED) by framing it as a

extreme weather events detection visual question answering vision-language models climateiqa climate-zoo

发现论文，激发创造

WeatherQA: 多模态语言模型能否推理严重天气？

多模态数据集 WeatherQA 是用于预测复杂的恶劣天气事件的第一个数据集，使用视觉语言模型评估模型在多选问题和危险密度分类任务上表现较人类推理薄弱，需要更好的训练和数据整合来弥合差距。

Jun, 2024

验证深度学习天气预报模型在近期高影响极端事件上的准确性

深度学习天气预测模型的预测准确性正在迅速提高，但仍存在需求，需要综合评估这些新兴技术的全面性。通过对比三个案例研究，我们发现机器学习的天气预测模型在创纪录的极端天气事件中可能能够达到与高分辨率天气预测系统相似的准确性，但其在极端条件下的外推能力可能比后者更受影响。这些研究可以为现有研究提供补充，增加公众信任，并有助于开发可靠的机器学习天气预测模型。

Apr, 2024

利用极端事件条件生成时空天气模式

本文提出了一种基于 GAN 的方法，可以在检测到极端天气事件的条件下生成时空气象模式。该模型可以与自定义 GAN 架构相结合，并在真实的表面辐射和纬向风数据的实验中得到应用。

Apr, 2021

像素与预测：GPT-4V 在气象图像分析和预报通信中的潜力

通过评估 GPT-4V 在解释气象图表和向用户适当传达天气风险方面的能力，尽管存在幻觉等挑战，该研究强调谨慎整合 GPT-4V 等工具在气象学中的必要性，强调人工监督和开发可靠、可解释的人工智能。

Apr, 2024

ExtremeCast：全球天气预报中的极值预测提升

基于机器学习的数据驱动天气预报在全球中期预报方面表现出优于传统基于物理的动力模型的快速发展和卓越性能。通过数学分析，我们证明了使用对称损失如均方误差（MSE）会导致偏差预测和极值低估。为了解决这个问题，我们引入了 Exloss，一种执行非对称优化并突出显示极值以获得准确极端天气预报的新型损失函数。此外，我们引入了一种无需训练的极值增强策略 ExEnsemble，它增加了像素值的方差并提高了预报的鲁棒性。结合先进的全球天气预报模型，广泛的实验表明我们的解决方案在极端天气预测方面可以达到与顶级中期预报模型相当的准确性。

Feb, 2024

深层极端立方体：整合地球系统时空数据以评估气候极端事件的影响

气候极端事件对陆地生态系统的影响预测需要用到结构化、高质量和经过筛选的分析准备数据集。本研究致力于构建 DeepExtremeCubes 数据库，该数据库专门设计用于分析复合热浪和干旱极端事件对持续自然植被的影响，包括 40,000 个地理采样的小数据块，每个块都包含 Sentinel-2 L2A 影像、ERA5-Land 变量、从 2016 年到 2022 年的极端事件数据块，以及辅助土地覆盖和地形地图。该数据库的建设旨在提高数据获取和处理的效率，增强科学的可重复性，并促进对生物圈动态在复合极端事件下的预测研究。

Jun, 2024

多气候共存估计的天气不确定性建模

本研究提出了一种新的多天气共存估计方法，基于物理原理模型化了天气不确定性，并通过高斯混合模型和先验 - 后验学习实现了不确定性感知的多天气学习方案。实验结果表明该方法在常规多标签天气分类和多天气共存估计任务中均具有最先进的性能和广泛的泛化能力。

Mar, 2024

极端天气事件中的深度学习技术综述

深度学习在极端天气事件预测和理解领域有着潜在的应用，本文对其在雷暴、闪电、降水、干旱、热浪、寒潮和热带气旋等天气预报的各个方面的运用进行了综述，强调了深度学习捕捉复杂模式和非线性关系的潜力，同时讨论了当前方法的局限性和未来的进展方向，该综述为科学界了解并减轻极端天气事件的影响提供了重要见解。

Aug, 2023

EWMoE：基于混合专家的全球气象预报的有效模型

在本文中，我们提出了 EWMoE 模型，它是一种能够准确预测全球天气的有效模型，它只需要较少的训练数据和计算资源，并利用 Meteorology-specific embedding、核心 Mixture-of-Experts (MoE) 层和两个特定的损失函数来提高预测准确性。通过对 ERA5 数据集进行了评估，并仅使用了两年的训练数据，我们进行了大量实验证明，EWMoE 在所有预测时间上均表现优于 FourCastNet 和 ClimaX 等当前模型，在异常相关系数（ACC）和均方根误差（RMSE）等评估指标上与最先进的 Pangu-Weather 模型具有竞争力。此外，消融实验结果表明，在天气预测中应用 MoE 架构可以显著提高准确性和资源效率。

May, 2024

借助语言引导的恶劣天气语义分割

我们提出了一种从在恶劣天气条件下拍摄的图像中推断语义分割地图的方法，通过利用语言作为指导，在不同的气候效应对图像的影响下，模型在 WeatherProof 和 ACDC 数据集上表现出了更好的性能。

Mar, 2024