Oct, 2023

探索 DINO：合成孔径雷达图像的新特性与限制

PDF
TL;DR通过使用非标记的合成孔径雷达（SAR）数据，预先训练自监督学习模型（ViT-based DINO 模型）并对其进行微调以预测高分辨率土地覆盖地图，本研究重点探究了 Self-Distillation with No Labels（DINO）算法的特征以及其在合成孔径雷达成像领域的应用，通过对 ViT 背骨网络生成的注意力图与模型的标记嵌入空间进行比较和评估，我们观察到与从头开始训练相比，预训练模型性能略有提升，并讨论了自监督学习在遥感和土地覆盖分割中的局限性和机会，除了微小的性能提高外，我们展示了 ViT 的注意力图在遥感领域具有重要的内在价值，并可能为其他算法提供有用的输入。因此，我们的工作为地球观测提供了更大更好的自监督学习模型的基础。
发现论文，激发创造
  • 无标签自蒸馏方法在基于 SAR 的植被预测中的普适性探索

    使用两个合成孔径雷达数据集（S1GRD 或 GSSIC）在中国、Conus 和欧洲三个地区对 DINO-ViT 基于模型进行预训练，然后在较小的已标记数据集上进行微调，以预测植被百分比，并经验性地研究模型的嵌入空间与其在不同地理区域之间和对未知数据的泛化能力之间的关联。我们的研究增进了对应用于遥感的自监督模型的泛化能力的理解。

    Oct, 2023

  • 自监督学习提升合成孔径声纳目标识别

    这项研究探讨了自监督学习（SSL）在合成孔径声纳（SAS）图像识别改进中的应用，结果表明，尽管两个 SSL 模型在少样本情况下可以优于完全监督模型，但在使用全部标签时不能超过其性能，这有助于减少数据标记的时间和成本，同时提供了远程感知中使用 SSL 的证据。

    Jul, 2023

  • 领域内自监督学习可提高遥感图像分类

    本文研究了自监督学习在遥感图像分类中的应用， 使用 ViT 模型和 iBOT 框架进行预训练可以提高模型预测性能。

    Jul, 2023

  • 自监督视觉 Transformer 中的新兴特性

    本研究探讨自监督学习是否为 Vision Transformer (ViT) 提供了与卷积网络 (convnets) 相比更为突出的新特性，发现自监督 ViT 特征明确包含图像的语义分割信息，在 ImageNet 数据集中取得了 78.3% 的 top-1 准确率，并将这些发现用于自监督方法 DINO 中，通过线性评估，使 ViT-Base 在 ImageNet 数据集中取得了 80.1% 的 top-1 准确率。

    Apr, 2021

  • 探索自我监督视觉变换器用于深伪检测：一种比较分析

    本研究探讨自监督预训练变换器相对于有监督预训练变换器和传统神经网络（ConvNets）在检测各种类型的深度伪造方面的有效性，重点关注其在数据有限的情况下改进泛化能力的潜力。通过使用适度的训练数据并实施部分微调，在利用自监督学习和变换器进行深度伪造检测时，我们观察到了与传统方法可比拟的适应性和通过注意机制实现的自然可解释性，且同时需要较少的计算资源。

    May, 2024

  • 合成孔径声纳数据处理、分类和模式识别的自监督学习进展

    本文提出了一种使用自监督学习（SSL）进行合成孔径声纳（SAS）数据处理、分类和模式识别的方法 MoCo-SAS，实验结果表明 MoCo-SAS 在 F1 分数方面明显优于传统监督学习方法，展示了 SSL 在 SAS 数据处理中的潜力，并为增强水下目标检测和分类提供了有希望的途径。

    Aug, 2023

  • LowDINO -- 一个低参数的自监督学习模型

    本研究旨在探索设计一种神经网络架构，使小型网络能够采用自监督学习中已显示出成功的大型网络的属性，用于图像分类、分割等所有下游任务。

    May, 2023

  • 分析自监督视觉变压器的局部表征

    自本文中，我们对各种自监督视觉变换器（ViTs）进行了比较分析，重点研究了它们的局部代表能力。我们设计了一个评估框架，分析了在少样本语义分割、实例识别、目标检索和跟踪等背景下的局部表示质量。我们发现，基于对比学习的方法如 DINO 产生了更通用的局部表示，可以立即应用于无参数调整的下游任务，而掩蔽图像建模的方法中学习的嵌入具有高方差特征，对于大多数下游任务没有有用信息。此外，通过对本工作的基准和 Scale-MAE 的分析，我们证明了移除这些高方差特征对 k-NN 算法的改进。最后，我们发现 DINOv2 在多训练数量级的数据上预训练的模型在物体实例检索方面表现比计算消耗较小的 DINO 模型更差。

    Dec, 2023

  • 非可见光数据综合应用研究：合成孔径雷达成像案例研究

    通过研究大规模预训练图像生成模型在非可见光领域的应用，特别以合成孔径雷达（SAR）数据为案例研究，提出了一种 2 阶段低秩自适应方法（2LoRA）和改良版本原型 LoRA（pLoRA），以生成 SAR 数据并在 SAR 分类和分割模型的训练过程中取得显著的改进效果。

    Nov, 2023

  • 针对自监督视觉变换器的补丁级别表示学习

    本文设计了一种称为 SelfPatch 的简单而有效的视觉预训练任务，利用 ViT 的特性，在无需人工注释的情况下提高不同类型视觉任务的性能，通过训练神经网络对各种图像的无监督学习来实现。

    Jun, 2022