利用自监督预设任务进行主动学习的 PT4AL

ECCVJan, 2022

利用自监督预设任务进行主动学习的 PT4AL

PT4AL: Using Self-Supervised Pretext Tasks for Active Learning

John Seon Keun Yi, Minseok Seo, Jongchan Park, Dong-Geol Choi

TL;DR本文提出一种创新的主动学习方法，利用自监督的预训练任务和独特的数据采样器，通过选择具有难度和代表性的数据来解决数据标注代价高的问题，并在各种图像分类和分割基准上取得了令人信服的性能。

Abstract

Labeling a large set of data is expensive. active learning aims to tackle this problem by asking to annotate only the most informative data from the unlabeled set. We propose a novel active learning approach that

active learning self-supervised learning pretext tasks uncertainty sampling image classification

发现论文，激发创造

基于预设文本的主动学习

该研究提出了一种针对深度神经网络的主动学习技术，使用一个单独的网络对样本进行评分选择，提高模型对错标记的容忍度，同时通过自监督和多任务学习等方法缓解数据不足的问题。

Oct, 2020

预测已知信息有助于自证自学

这篇论文提出了一种基于自监督学习的特征学习方法，通过预测无标签数据的辅助任务来学习有用的语义表示，并使用线性层来对学习的表示进行下游任务预测，从而显著降低了样本复杂度。

Aug, 2020

自监督学习的定制与监督学习

本文探讨了如何将自监督任务应用于有监督学习，在此基础上提出了一种针对有监督学习的自监督任务 —— 预测可定位的旋转（LoRot），并通过实验证明其可应用于高鲁棒性和泛化能力。

Jul, 2022

基于预训练语言模型的样本高效主动学习自训练

使用半监督的方法（self-training）从未标记的数据中获取伪标签来改善运用主动学习进行文本分类的效率，通过进行广泛的实验，提出了一种新的有效的 self-training 策略（HAST），并在四个文本分类基准数据集上进行了评估，仅使用 25% 的数据，超过了之前实验的分类结果，达到了与三个数据集的先前实验相当的分类效果。

Jun, 2024

混合自监督学习

自我监督学习方法可以通过使用多个预处理任务和混合专家架构作为门控网络，来改进图像分类，使模型能够自动学习和更关注对分类最有用的增强方法。在几个场景下进行测试，并使用 Grad-CAM 和 T-SNE 分析来识别影响图像分类的重要特征并适当地区分不同的类别。

Jul, 2023

减少标注工作量：自监督活跃学习相遇

本研究针对减少标注工作的两种范式：主动学习和自学习，研究它们能否相互受益。在对象识别数据集（包括 CIFAR10、CIFAR100 和 Tiny ImageNet）上的实验证明：对于低的标注预算，主动学习对自学习没有帮助。当标注预算很高时，主动学习和自学习的组合是有益的。

Aug, 2021

主动学习的边际效益：自我监督是否自欺欺人？

本研究提供了一个将自我监督预训练、主动学习和一致性正则化自我训练整合的新算法框架，并在 CIFAR10 和 CIFAR100 数据集上进行了实验，揭示了自我监督预训练在半监督学习中的重要性，被 S4L 技术所替代的主动学习的价值。

Nov, 2020

通过知识转移提升自监督学习

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

多视图自监督方法在音乐标记中的实验比较

在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。

Apr, 2024

从预文本到目的：批自适应自监督学习

本文研究自我监督对比学习中的两个关键因素：批大小和预设任务，并提出了一种自适应的批融合技术，通过降维和重构批数据，使以前孤立的个体数据能够通过嵌入层在批内进行通信，随着训练进行，自适应地增强自我监督特征编码能力。通过在 ImageNet-1k 上进行线性分类测试，实证结果表明我们的方法在公平比较下实现了最先进的性能。在 ImageNet-100 上，相对于原始性能，top1 最多提高了 1.25％。我们认为该方法可能有助于数据驱动的自我监督学习研究的进展，并为该领域带来新的视角。

Nov, 2023