Dec, 2023

优化变化检测的视觉变换器

PDF
TL;DR基于视觉变换模型的大多数变化检测模型目前遵循 “预训练然后微调” 的策略，但我们提出了一种高效的微调方法，通过冻结预训练图像编码器的参数并引入额外的训练参数，实现了与低资源消耗相比更具竞争力的结果，并且可扩展到语义变化检测和多时相变化检测的任何预训练模型，希望我们提出的方法能成为变化检测领域更统一的训练方法的基础模型之一。
change detection modelsvision transformerspretraining then fine-tuningefficient tuning approachresource consumption
发现论文，激发创造
  • 使用从头开始训练的 Transformer 进行遥感变化检测

    本文提出了一种全新的变化检测方法，采用转换器进行从头开始训练，并在四个公共基准测试中实现了最先进的性能。该方法使用一种混洗的稀疏注意力操作来捕获 CD 数据的固有特征，并介绍了一种改变增强的特征融合模块来提高相关语义变化，同时抑制噪声。

    Apr, 2023

  • 视觉 Transformer 的参数高效模型适应

    本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

    Mar, 2022

  • VcT：用于遥感图像变化检测的视觉变化 Transformer

    通过挖掘共同的背景信息，我们提出了一种新颖的视觉变化检测模型 (VcT)，它利用图神经网络模型处理特征图像素结构化信息、使用聚类算法提取可靠标记，并通过注意力机制增强这些标记，进而获得更准确的变化图。

    Oct, 2023

  • ChangeViT: 释放纯视觉 Transformer 的变化检测能力

    本文介绍了一种利用 ViTs 骨干结构进行大规模变化检测的 ChangeViT 框架，并引入细节捕获模块和特征注入器，使 ChangeViT 在检测大规模变化和捕获细粒度细节方面表现出色，并在 LEVIR-CD、WHU-CD、CLCD 和 OSCD 四个数据集上取得最先进的性能，验证了该方法的有效性。

    Jun, 2024

  • TransY-Net：用于遥感图像变化检测的全 Transformer 网络学习

    本研究提出了一种名为 TransY-Net 的新型变化检测学习框架，通过全局视图改善特征提取，以金字塔方式结合多级视觉特征，利用 Transformer 进行长程依赖建模并使用深度监督学习，获得了优于其他方法的性能。

    Oct, 2023

  • 远程感知图像变化检测与 Transformer

    介绍了一种基于双时相图像转换器的新颖的深度学习框架，用于高分辨率遥感图像变化检测，该框架通过对空时时域内的上下文进行编码来优化特征提取，实现更快速，更准确的目标检测，相对于现有的基于注意力机制的方法，本文提出的方法在提高准确性的同时，可以节省更多的计算成本。

    Feb, 2021

  • 使用视觉 Transformer 进行简单的开放词汇物体检测

    采用对比式图文预训练和端到端检测微调方法，结合扩展的图像预训练和模型尺度的优化，实现了基于 Vision Transformer 的开放词汇目标检测的零样本和单样本条件下的行为表现。

    May, 2022

  • 基于 Transformer 的目标检测

    本文研究使用纯 Transformer 模型实现复杂视觉任务中的目标检测，发现 Vision Transformer 作为骨干网在检测任务上可以产生与传统卷积网络相媲美的结果，而且能够保持更高的图像分辨率。

    Dec, 2020

  • 使用 Vision Transformers 对检测迁移学习进行基准测试

    本文提出了可用于 Mask R-CNN 的 Vision Transformer 模型的训练技术，使用五种 ViT 初始化方法进行实验比较，结果表明最近基于遮蔽的无监督学习方法可能是首次在 COCO 数据集上提供了令人信服的转移学习改进，随着模型大小的增加，这些基于遮蔽的初始化方法具有更好的可扩展性和改进性。

    Nov, 2021

  • 时间、内存和参数高效的视觉适应

    我们提出了一个不需要反向传播梯度的适应方法，该方法在参数、训练时间和内存使用方面都非常高效，并且在 VTAB 基准测试中实现了极好的准确性 - 参数折衷，并展示了在视频分类等计算密集型任务中对于训练效率和可扩展性上的优越性。

    Feb, 2024