无标签图像分类的屏蔽无监督自训练

Jun, 2022

无标签图像分类的屏蔽无监督自训练

Masked Unsupervised Self-training for Label-free Image Classification

Junnan Li, Silvio Savarese, Steven C.H. Hoi

TL;DR本文提出了一种利用目标领域丰富的无标注数据改进已预训练的零样本分类器的无监督微调方法 Masked Unsupervised Self-Training（MUST）并在各种下游任务上证明了其有效性，包括在 ImageNet 上使用 ViT-B 的准确率高达 77.7％，比 CLIP 高 9.4％，比 16-shot CLIP 适应高 6.2％。

Abstract

State-of-the-art computer vision models are mostly trained with supervised learning using human-labeled images, which limits their scalability due to the expensive annotation cost. While self-supervised representation learning has achieved impressive progress, it still requires a secon

unsupervised finetuning self-supervised representation learning pre-trained model downstream tasks masked unsupervised self-training (must)

发现论文，激发创造

研究自监督方法以实现标签高效学习

视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

Jun, 2024

自监督类感知几 - shot 分类

本研究使用无标签数据进行自我监督的预训练，通过迭代聚类和重新排序，并通过扩展对比优化损失来纳入类别层次意识，以在下游分类任务中进行少样本微调。实验证明，该方法在标准和跨域场景下的性能均优于其他方法，并取得了最新的表现。

Feb, 2022

多任务自训练用于学习通用表示

通过利用已训练的独立专业模型的知识来训练一个单一的通用学生模型，本研究提出了一种名为多任务自我训练（MuST）的方法，此方法 3 个步骤，包括利用专业教师模型对未标记的数据进行标记以创建一个多任务虚标记数据集，然后使用该数据集对学生模型进行多任务学习，实验证明此方法可提高训练的性能。

Aug, 2021

启发式视觉预训练的自监督和有监督多任务学习

提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

Oct, 2023

学习面具感知 CLIP 表示以进行零样本分割

提出了一种名为 Mask-aware Fine-tuning (MAFT) 的简单而有效方法，通过使用 Image-Proposals CLIP Encoder (IP-CLIP Encoder) 和相应的损失函数来改善预训练模型 CLIP 对不同掩码提议的敏感性，以解决零样本分割任务中存在的虚假阳性问题。在常见的零样本基准测试中，该方法在未见过的类别上大幅提升了最先进方法的性能。

Sep, 2023

从 CLIP 中提取无标签稠密特征

本文旨在探讨 Contrastive Language-Image Pre-training (CLIP) 在像素级密集预测，特别是语义分割方面的潜力，并以 MaskCLIP 为例证明了它在无需注释和微调的情况下可以产生令人满意的分割结果。通过添加伪标签和自训练，MaskCLIP + 甚至超过了 SOTA 的泛化零样本语义分割方法。

Dec, 2021

自训练方式提升语义分割

本文提出了一种半监督学习的方法，即自我训练范式，通过用标注数据训练教师模型并在大量未标注数据上生成伪标签，以较少的监督实现像素级准确模型，并在 Cityscapes，CamVid 和 KITTI 数据集上取得了最优表现，同时，在具有挑战性的跨域泛化任务上表现更佳，最后，为了减轻大量伪标签带来的计算负担，提出了一种快速训练计划来加速分割模型的训练。

Apr, 2020

自监督语义分割调整的混合匹配

该研究提出了一种自我监督学习方法，通过引入 “混合和匹配” 步骤来提高语义图像分割任务的性能，该方法无需更多的数据和标签，并且在很多方面与有监督的预训练方法可以媲美甚至超过其性能。

Dec, 2017

通过知识转移提升自监督学习

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

有监督的遮蔽知识蒸馏用于小样本变压器

本文提出了一种新的有监督掩蔽知识蒸馏模型 (SMKD)，将标签信息融入到自我蒸馏框架中，通过在类和图块标记上进行内部类知识蒸馏，并引入在类内图像中对屏蔽图块标记重构的挑战性任务，我们比以前的自我监督方法实现了更好的结果，实验结果显示，我们的方法在四个 few-shot 分类基准数据集上的性能优于以往方法。

Mar, 2023