Aug, 2023

掩蔽动量对比学习用于零样本语义理解

PDF
TL;DR通过自监督预训练技术（SSP），本研究旨在评估彻底自监督学习技术在计算机视觉任务中的有效性，无需微调，旨在模仿人类的泛化和识别未见目标的能力，并提出了一种基于标注块的零样本分割评估协议，以及评估 SSP ViTs 的内部和外部物体相似性来衡量其歧视能力，并设计了一种名为 MMC 的简单 SSP 方法，该方法通过对局部特征的相似性进行蒙版图像建模、基于动量的自蒸馏将全局语义转移到局部特征以及全局对比度来提升 SSP ViTs 的区分能力，有效地在图像中进行物体分割，实验结果显示 MMC 在各种数据集上实现了零样本语义分割的顶级效果。
self-supervised pretrainingtransfer learningcomputer vision taskszero-shot segmentationssp vits
发现论文，激发创造
  • 针对自监督视觉变换器的补丁级别表示学习

    本文设计了一种称为 SelfPatch 的简单而有效的视觉预训练任务，利用 ViT 的特性，在无需人工注释的情况下提高不同类型视觉任务的性能，通过训练神经网络对各种图像的无监督学习来实现。

    Jun, 2022

  • 自监督语义分割调整的混合匹配

    该研究提出了一种自我监督学习方法，通过引入 “混合和匹配” 步骤来提高语义图像分割任务的性能，该方法无需更多的数据和标签，并且在很多方面与有监督的预训练方法可以媲美甚至超过其性能。

    Dec, 2017

  • 使用自监督语音表示模型进行零样本文本转语音合成

    本研究提出了一种零样本文本转语音模型，使用自监督学习获取的语音表示模型进行条件控制，并引入了声学特征和音素持续时间预测器的分离调制以提高重现性能和语音转换效果。

    Apr, 2023

  • 基于预训练扩散模型的零样本视频语义分割

    我们引入了第一个基于预训练扩散模型的零样本视频语义分割方法，该方法在各种视频语义分割基准测试中明显优于现有的零样本图像语义分割方法，并且在 VSPW 数据集上与有监督的视频语义分割方法不相上下，尽管它没有经过显式的 VSS 训练。

    May, 2024

  • 使用局部对比损失的自监督学习，用于检测和语义分割

    提出了一种自监督学习方法，适用于对象检测和语义分割等半全局任务，通过在训练期间最小化像素级的本地对比损失（LC-loss），在自学习特征中强制实现对变换后的同一图像的相应图像位置之间的本地一致性，可将 LC-loss 添加到现有的自监督学习方法中，并在 COCO、PASCAL VOC 和 CityScapes 数据集上评估 SSL 方法，结果比现有的先进自监督学习方法在 COCO 对象检测、PASCAL VOC 检测和 CityScapes 分割等任务上分别提高了 1.9％，1.4％和 0.6％。

    Jul, 2022

  • 基于像素原型对比的弱监督语义分割

    本文提出了一种基于像素级原型对比度的弱监督语义分割方法，通过两种直观的先验知识，对图像的不同视角和单个视角内进行执行，旨在实施跨视图特征语义一致性规则，并促进特征空间的内部（间）类一致性（离散度），从而提高了两个强基线模型的精度，并在 PASCAL VOC 2012 上实现了新的最先进水平。

    Oct, 2021

  • 一个开放词汇的零样本分割的简单框架

    通过使用冻结的仅包含视觉信息的模型和融合离散文本和语言知识的方式，我们提出了 SimZSS，一种用于开放性词汇的零样本分割的简单框架。在仅使用图像 - 标题对数据集进行训练的情况下，我们的方法利用了视觉表示的质量，并在不到 15 分钟的时间内在 8 个基准数据集中的 7 个上实现了最先进的结果。

    Jun, 2024

  • FLSL: 特征层面自监督学习

    本文探究了使用 Transformer 进行联合嵌入和聚类的一种方法，即两级特征聚类自监督学习（FLSL），该方法在密集预测任务中取得了显著的改进，包括目标检测和实例分割，实验表明 FLSL 方法在各项测试中始终表现优异。

    Jun, 2023

  • 自我监督学习提高深度学习对 CT 图像差异的肺肿瘤分割的鲁棒性

    自我监督学习（SSL）是一种从无标签数据中提取有用特征表示并在有限标记样本的下游任务中进行精细调整的方法。本论文比较了基于自然数据和自我预训练的转换器模型在医学图像分析中的鲁棒性，发现自然预训练模型对肺肿瘤分割的 CT 图像差异具有更高的适应性，同时 Swin 架构从这种预训练中受益更多。

    May, 2024

  • 分析自监督视觉变压器的局部表征

    自本文中，我们对各种自监督视觉变换器（ViTs）进行了比较分析，重点研究了它们的局部代表能力。我们设计了一个评估框架，分析了在少样本语义分割、实例识别、目标检索和跟踪等背景下的局部表示质量。我们发现，基于对比学习的方法如 DINO 产生了更通用的局部表示，可以立即应用于无参数调整的下游任务，而掩蔽图像建模的方法中学习的嵌入具有高方差特征，对于大多数下游任务没有有用信息。此外，通过对本工作的基准和 Scale-MAE 的分析，我们证明了移除这些高方差特征对 k-NN 算法的改进。最后，我们发现 DINOv2 在多训练数量级的数据上预训练的模型在物体实例检索方面表现比计算消耗较小的 DINO 模型更差。

    Dec, 2023