Nov, 2020

主动学习的边际效益：自我监督是否自欺欺人？

PDF
TL;DR本研究提供了一个将自我监督预训练、主动学习和一致性正则化自我训练整合的新算法框架，并在 CIFAR10 和 CIFAR100 数据集上进行了实验，揭示了自我监督预训练在半监督学习中的重要性，被 S4L 技术所替代的主动学习的价值。
active learningself-supervised learningsemi-supervised learningdata augmentationconsistency-regularized self-training
发现论文，激发创造
  • 减少标注工作量：自监督活跃学习相遇

    本研究针对减少标注工作的两种范式：主动学习和自学习，研究它们能否相互受益。在对象识别数据集（包括 CIFAR10、CIFAR100 和 Tiny ImageNet）上的实验证明：对于低的标注预算，主动学习对自学习没有帮助。当标注预算很高时，主动学习和自学习的组合是有益的。

    Aug, 2021

  • 基于预训练语言模型的样本高效主动学习自训练

    使用半监督的方法（self-training）从未标记的数据中获取伪标签来改善运用主动学习进行文本分类的效率，通过进行广泛的实验，提出了一种新的有效的 self-training 策略（HAST），并在四个文本分类基准数据集上进行了评估，仅使用 25% 的数据，超过了之前实验的分类结果，达到了与三个数据集的先前实验相当的分类效果。

    Jun, 2024

  • S4L：自监督半监督学习

    本研究探讨了图像分类器的半监督学习问题，提出了自监督半监督学习框架，并使用该框架派生出两种新的半监督图像分类方法。在 ILSVRC-2012 测试中，证明了该方法与现有半监督学习方法相比的有效性和新的最佳结果。

    May, 2019

  • 零样本主动学习基于自监督学习

    提出了一种新的无关模型且无需迭代过程的主动学习方法，利用自监督学习的特征表示来进行数据注释以提高深度学习模型的泛化性能。

    Jan, 2024

  • 基于一致性的半监督主动学习：朝着最小化标注成本

    该论文提出了一种融合标注和模型训练的主动学习方法，结合半监督学习和基于一致性的样本选择度量，实现从未标注数据中选取最优数据来改善模型性能，在图像分类任务中实验结果显示出优异表现，同时探究了学习式主动学习方法的起点问题并提出了相关测量指标。

    Oct, 2019

  • 主动半监督学习的语义分割

    提出了通过结合主动学习和半监督学习来减少标注样本数量的新算法，应用于语义分割任务取得了优异的成果。

    Mar, 2022

  • 深度主动学习破除幻觉

    该研究旨在评估目前基于最新学习方法下的图像分类的主动学习策略的有效性，并且在更实际的情况下验证了选择语义分割的方法，其提出了一种更合适的评估协议。

    Dec, 2019

  • 主动半监督表示学习的语义分割

    本文提出一种新算法，将半监督和主动学习相结合，通过用少量的有标签数据来训练分割算法。我们通过用自我训练方法替换半监督学习的平均教师方法，以处理带有噪声的标签，进一步增强神经网络的能力来查询有用的数据，从而实现了超越现有半监督方法的性能。在 CamVid 和 CityScapes 数据集上评估我们的方法，仅使用了 12.1% 和 15.1% 的标签数据，分别实现了 95% 以上的准确率。

    Oct, 2022

  • 在贝叶斯主动学习中更好地利用无标签数据

    全监督模型在贝叶斯主动学习中占主导地位，我们认为它们对未标记数据中的信息的忽视不仅损害了预测性能，也影响了关于获取哪些数据的决策。我们提出了一个简单的半监督贝叶斯主动学习框架，发现它比传统的贝叶斯主动学习或随机获取数据的半监督学习能够生成更好的模型。该框架也更易于扩展。除了支持向半监督模型的转变外，我们的发现还强调了研究模型和获取方法的重要性。

    Apr, 2024

  • 利用自监督预设任务进行主动学习的 PT4AL

    本文提出一种创新的主动学习方法，利用自监督的预训练任务和独特的数据采样器，通过选择具有难度和代表性的数据来解决数据标注代价高的问题，并在各种图像分类和分割基准上取得了令人信服的性能。

    Jan, 2022