ICMLJun, 2024

SRViT：基于视觉 Transformer 的规模化卫星观测雷达回波反射率估计

PDF
TL;DR我们引入了一种基于 Transformer 的神经网络，从地球同步卫星影像生成高分辨率（3km）的合成雷达反射率场，旨在提高高影响天气事件的短期对流尺度预报能力，并在美国数值天气预报的数据同化中提供帮助。与卷积方法相比，我们的结果显示出对各种复合反射率阈值的改善锐度和更高准确性。通过额外的特定大气现象案例研究支持我们的定量研究结果，同时引入了一种新颖的归因方法来指导领域专家理解模型的输出。
transformer-based neural networkhigh-resolutionsynthetic radar reflectivity fieldsconvective-scale forecastsnumerical weather prediction
发现论文，激发创造
  • 一种基于 Vision Transformer 的高效近场不规则 SAR 超分辨率方法

    本文介绍了一种移动友好的视觉变换（ViT）算法，称为 Mobile-SRViT，用于在不规则采样几何下处理合成孔径雷达（SAR）图像。该算法采用 ViT 方法进行 SAR 图像超分辨率 (SR) 处理，并在模拟和经验研究中进行验证。

    May, 2023

  • HEAL-ViT：用球形网格实现中程天气预报的视觉 Transformer

    HEAL-ViT 是一种新颖的架构，它在球面网格上使用 ViT 模型，从而同时享受基于图的模型的空间均匀性和变压器所利用的高效注意力机制，能够产生优于 ECMWF IFS 的天气预报结果。

    Feb, 2024

  • GeoViT：一种用于地理空间影像分析的多功能视觉 Transformer 架构

    GeoViT 是一种紧凑的视觉转换模型，熟练处理卫星图像以进行多模式分割、分类和回归任务，目标是 CO2 和 NO2 排放。利用 GeoViT，我们在估计发电率、燃料类型、CO2 的尾气覆盖率和高分辨率 NO2 浓度地图方面获得了卓越的准确性，超过了先前的最先进模型，同时显著减小了模型尺寸。GeoViT 表明了视觉转换器架构在利用卫星数据提升温室气体排放见解方面的功效，对全球气候变化监测和排放规章制度的推进具有关键作用。

    Nov, 2023

  • RangeViT：用于自动驾驶 3D 语义分割的视觉 Transformer

    本文应用 Vision Transformers 和卷积解码器改进了基于投影的 3D 语义分割方法以获得更好的结果，并在 nuScenes 和 SemanticKITTI 数据集上超过了现有的投影方法。

    Jan, 2023

  • Vision Transformers：一种用于高分辨率和大规模覆盖树冠高度的新方法

    本文使用新的视觉 Transformer 模型在加纳的广泛景观上进行优化，同时优化分类（离散）和回归（连续）损失函数，从而实现了比以前使用的卷积方法更高的准确度。 模型的结果表明，我们提出的离散 / 连续损失显着提高了对非常高的树（即 > 35m）的灵敏度，而对于其他方法，往往会出现饱和效应。 最终，ViT 模型的高度图具有更好的地面采样距离和更好的稀疏植被灵敏度，与卷积模型相比，其 RMSE 仅为 3.12m。

    Apr, 2023

  • 基于 Transformer 的卫星图像雷达合成的严重天气即时预报

    使用卫星数据的变压器模型现在预测地基雷达图像序列，可在两小时领先时间内，支持大范围的降水预测并为数据稀缺地区提供雷达替代品。

    Oct, 2023

  • 使用视觉转换器进行台风强度预测

    利用卫星图像进行场景分析以准确预测台风强度，引入自注意力机制的 “Typhoon Intensity Transformer”（Tint）通过每层具有全局感受野的自注意力操作，提升了局部和全局上下文关系的提取能力，并在公开的台风基准测试中验证了其在深度学习和常规气象方法方面的有效性。

    Nov, 2023

  • VTR：一种面向 FPGA 的优化视觉 Transformer 用于 SAR ATR 加速

    开发了一种轻量级视觉 Transformer（ViT）模型，利用 Shifted Patch Tokenization（SPT）和 Locality Self-Attention（LSA）模块，该模型可以直接在训练数据有限的合成孔径雷达（SAR）数据集上进行训练，以评估其在 SAR 自动目标识别（ATR）应用中的有效性，并进一步提出了一种用于实时 SAR ATR 应用的新型 FPGA 加速器（VTR）。

    Apr, 2024

  • 卫星影像时序的多模态视觉转换器用于作物分类

    通过使用来自不同卫星传感器获取的图像，已经证实在卫星图像时间序列（SITS）的作物分布图框架中，可以提高分类性能。现有的最新架构使用自注意机制处理时间维度和卷积处理空间维度。受到单模态 SITS 作物分布图中纯注意力架构的成功启发，我们引入了几种多模态多时序变换器架构。具体来说，我们研究了在时间空间视觉变换器（TSViT）中早期融合、交叉注意融合和同步类标记融合的有效性。实验结果表明，相较于具有卷积和自注意组件的最新架构，我们的架构显著改善了性能。

    Jun, 2024

  • 多视角遥感图像分割的隐式射线变换器

    该论文提出了一种基于 Implicit Ray-Transformer 和神经场的遥感场景语义分割方法，在有限的标记视图的情况下，通过引入多视角的三维结构先验信息以实现精确和视图一致的语义分割，并在实验中取得了较好效果。

    Mar, 2023