Sep, 2023

MMST-ViT：多模态时空视觉转换器的气候变化感知作物产量预测

PDF
TL;DR通过考虑短期气象变化和长期气候变化对作物的影响，基于多模态时空视觉变换器（MMST-ViT）开发了一个基于深度学习的解决方案，用于预测美国各县的作物产量，并展示其在三个性能指标上优于同类产品。
crop yield predictionmulti-modal spatial-temporal vision transformershort-term meteorological variationslong-term climate changecounty level
发现论文，激发创造
  • 卫星影像时序的多模态视觉转换器用于作物分类

    通过使用来自不同卫星传感器获取的图像，已经证实在卫星图像时间序列（SITS）的作物分布图框架中，可以提高分类性能。现有的最新架构使用自注意机制处理时间维度和卷积处理空间维度。受到单模态 SITS 作物分布图中纯注意力架构的成功启发，我们引入了几种多模态多时序变换器架构。具体来说，我们研究了在时间空间视觉变换器（TSViT）中早期融合、交叉注意融合和同步类标记融合的有效性。实验结果表明，相较于具有卷积和自注意组件的最新架构，我们的架构显著改善了性能。

    Jun, 2024

  • 结合卫星和气象数据进行作物类型地图绘制：一种逆向建模方法

    用天气和卫星影像结合的逆模型方法，提出了一种深度学习模型 WSTATT，能够精确生成农田作物分布地图，具有较传统方法更好的预测效果和提前五个月预测作物类型的能力，评估结果与作物表现学相一致。

    Jan, 2024

  • 一个针对多模态气候变化感知作物产量预测的开放和大规模数据集

    通过引入 CropNet 数据集，该研究提供了一个多模态数据集，用于在县级别上准确预测作物产量，考虑了短期和长期气候变化的影响，并验证了其在气候变化感知作物产量预测中的一般适用性和有效性。

    Jun, 2024

  • 机器学习预测作物产量：基于田地和子田水平的输入模式和模型的广泛分析

    通过使用多个具有不同时空分辨率的输入模态处理作物产量预测问题，我们提出了一种简单而有效的早期融合方法。我们使用高分辨率作物产量图作为训练数据，通过亚区域的农作物和机器学习模型不受限地处理。我们使用 Sentinel-2 卫星图像作为主要输入模态，结合其他补充模态，包括天气、土壤和 DEM 数据。所提出的方法使用全球覆盖的输入模态，使得该框架在全球范围内可扩展。我们明确强调输入模态在作物产量预测中的重要性，并强调最佳组合的输入模态取决于地区、作物和所选择的模型。

    Aug, 2023

  • 多模态时空预测的自监督学习

    通过自监督学习提出了一种新的多模态时空学习框架，称为 MoSSl，旨在从时间、空间和模态角度揭示潜在模式，并量化动态异质性。实验结果验证了我们方法相对于现有基线的优越性。

    May, 2024

  • 利用街景图像和结构化数据进行飓风后建筑损坏评估：一种多模式深度学习方法

    本研究提出了一种名为多模态 Swin Transformer (MMST) 的新型多模态（图像和结构化数据）方法，用于飓风后建筑损害分类。通过在美国佛罗里达州收集的 2022 年 Ian 飓风数据对所提出的 MMST 进行实证训练和评估，结果表明 MMST 的准确率为 92.67%，较 Visual Geometry Group 16（VGG-16）提高了 7.71% 的准确性。街景图像数据、建筑价值、建筑年龄和风速是损害级别分类中最重要的预测因素。所提出的 MMST 可用于快速损害评估并指导未来飓风中的侦察工作。

    Apr, 2024

  • 利用 Transformer 网络融合卫星图像和气象数据进行霜霉病检测

    利用多域融合技术，结合深度学习和天气遥感数据检测农作物疾病的新方法取得了 97% 的准确率，该方法由三个 Transformer 组成，通过结合图像与天气数据信息达到多模态融合，解决了数据融合问题。

    Sep, 2022

  • 利用 GNN-RNN 方法捕捉地理空间和时间信息：应用于农作物产量预测

    本文通过引入新的图形循环神经网络，将地理和时间信息嵌入到机器学习模型中，进一步提高了作物产量预测的预测能力，并验证了其在各种指标上优于现有的先进方法，为未来的研究提供了坚实的基础。

    Nov, 2021

  • 利用分层融合卫星、旋转和上下文数据提高作物分类性能

    提出了一种融合多模态信息的方法，用于改进作物类型分类的准确性和稳健性，并针对 740 万个农业地块发布了新的注释数据集。新方法在评估中表现更好，可用于跨领域零样本学习和从法国到荷兰的少样本设定的稳健性。

    May, 2023

  • 多视角遥感数据的自适应融合用于最佳子区域作物产量预测

    利用多视角学习方法和多视图门控融合模型 (MVGF)，本研究预测不同作物和地区的农作物产量，数据源包括 Sentinel-2 卫星的多光谱光学图像和作物生长季节的气象数据，以及土壤特性和地形信息等静态特征，实验结果表明 MVGF 模型相较于传统模型在预测任务上具有更好的表现，达到了 0.68 的 R2 值。

    Jan, 2024