May, 2023

卫星影像时间序列编码的重新思考

PDF
TL;DR通过将卫星图像时间序列处理作为直接的集合预测问题，将其表示学习过程分解为三个明确步骤：集合 - 更新 - 分散，使我们的模型在 PASTIS 数据集上取得了新的最先进结果，比如 U-TAE 等自定义神经结构。此外，通过将时间和空间组件在可视化方面进行了明确的分离，可以利用最近的计算机视觉进步，例如 Mask2Former，这是一种通用分割架构，从而实现比迄今为止的最佳分数高 8.8 个点的 PQ。
representation learningsatellite image time seriesneural network architecturesquery-based transformer decoderspanoptic segmentation
发现论文，激发创造
  • 卷积时间注意力网络实现卫星图像时间序列的全景分割

    本篇论文提出了一种全新的端到端的、适合于处理卫星图像时间序列的像素级全景分割方法，并通过引入时序的注意力机制，提取了丰富且自适应的多尺度时空特征，同时还开发了第一个完全公开的卫星图像时间序列数据集 PASTIS，并展示了该方法在语义分割任务上的卓越表现。

    Jul, 2021

  • 卫星图像时间序列分类的时间卷积神经网络

    本文提出 Temporal Convolutional Neural Networks (TempCNNs) 来实现 Satellite Image Time Series (SITS) 的分类，通过在时间维度上应用卷积来完成。作者进行了一系列实验，证明了 TempCNNs 比传统算法（如 Random Forest）和近期广泛应用的 Recurrent Neural Networks（RNNs）更加准确，提供了网络结构、正则化机制和超参数等方面的指导，并确认了 TempCNNs 在土地覆盖地图上的可视化效果。

    Nov, 2018

  • S4：自主监管跨频谱感知

    利用卫星图像时间序列（SITS）的自监督预训练方法 (S4)，通过利用波段差异和地理信息进行预训练任务，从而显著降低对标记训练数据的需求，为 SITS 分割任务提供了一种有效且能使用有限标记数据的解决方案。

    May, 2024

  • 卫星图像时间序列分析的深度学习：一综述

    利用深度学习方法对卫星图像时间序列数据进行环境、农业和其他地球观测变量的建模的最新方法进行了综述，为遥感专家提供了一个利用时间信息增强地球观测模型的资源。

    Apr, 2024

  • DuPLO: 一种用于时间序列分类的双视角深度学习架构

    本文提出了使用深度学习技术分析 SITS 数据的方法（DUal view Point deep Learning architecture for time series classificatiOn），利用卷积神经网络和循环神经网络结合的方式来实现更准确的土地覆盖分类，实验结果证明该方法的显著性。

    Sep, 2018

  • 基于像素集编码器和时间自注意力机制的卫星图像时间序列分类

    本研究提出了一种替代卷积神经网络的方法来自动分类卫星图像时间序列。使用基于 Self-Attention 的神经网络的时间特征提取方法来优化处理效率，并且发布了一个用于卫星图像时间序列研究的大型开放访问数据集。

    Nov, 2019

  • 卫星影像时序的多模态视觉转换器用于作物分类

    通过使用来自不同卫星传感器获取的图像，已经证实在卫星图像时间序列（SITS）的作物分布图框架中，可以提高分类性能。现有的最新架构使用自注意机制处理时间维度和卷积处理空间维度。受到单模态 SITS 作物分布图中纯注意力架构的成功启发，我们引入了几种多模态多时序变换器架构。具体来说，我们研究了在时间空间视觉变换器（TSViT）中早期融合、交叉注意融合和同步类标记融合的有效性。实验结果表明，相较于具有卷积和自注意组件的最新架构，我们的架构显著改善了性能。

    Jun, 2024

  • 交互式 Transformer 连体网络用于视频目标分割

    本文提出了一种基于双模型网络和交互式变换器的半监督视频对象分割方法，能够有效地从历史帧向当前帧传播上下文信息，同时使用特征交互模块，提高了目标表示的性能，并通过三种基准实验验证了其优于现有方法的性能.

    Dec, 2021

  • 语义图像分割：二十年的研究

    本调查总结了涵盖二十年的 SiS 研究，并提出了文献综述以及使用转换器的深度学习方法的最新趋势，并强调了 DASiS 技术的影响，其中包括多域学习，域泛化和在对新环境进行分割时削减域。项目还介绍了几个与语义图像分割相关的任务和应用，如医学图像分割。

    Feb, 2023

  • U-TILISE：光学卫星时间序列云去除的序列到序列模型

    利用表示学习的思路，发展了 U-TILISE，一种高效的神经模型，能够隐式地捕捉光谱强度的时空模式，并通过训练将云层遮掩的输入序列映射为无云的输出序列。实验结果表明，与标准插值基准相比，在之前看到的位置，PSNR 增加了 1.8 dB，在未见过的位置增加了 1.3 dB。

    May, 2023