Apr, 2024

在贝叶斯主动学习中更好地利用无标签数据

PDF
TL;DR全监督模型在贝叶斯主动学习中占主导地位，我们认为它们对未标记数据中的信息的忽视不仅损害了预测性能，也影响了关于获取哪些数据的决策。我们提出了一个简单的半监督贝叶斯主动学习框架，发现它比传统的贝叶斯主动学习或随机获取数据的半监督学习能够生成更好的模型。该框架也更易于扩展。除了支持向半监督模型的转变外，我们的发现还强调了研究模型和获取方法的重要性。
发现论文，激发创造
  • 深度主动学习反思：在模型训练中利用未标记数据

    该研究提出了在主动学习的过程中既利用有标签的数据，也利用无标签的数据进行模型训练的方法，并使用了无监督特征学习和半监督学习的技术，研究表明使用无标签数据进行模型训练在图像分类任务中可以带来比不同获取策略更高的准确度，因此可以得到更小的标签预算。

    Nov, 2019

  • 贝叶斯批次主动学习作为稀疏子集逼近

    本研究提出一种基于贝叶斯批量主动学习方法来解决大规模监督模型中标签获取成本高的问题，从而利用大量未标记数据来改善模型性能。此方法通过逼近模型参数的完整数据后验概率，并使用随机投影技术来推广到任意模型，从而使批处理的数据选择更加多样，有效降低了计算复杂度，并在多个大规模回归和分类任务上得到了证实。

    Aug, 2019

  • 贝叶斯神经网络在主动学习中的有效性

    本文研究使用贝叶斯神经网络进行主动学习，相较于集成技术更能有效地捕捉不确定性，拥有更好的模型效果，同时还揭示了集成技术的一些关键缺陷。

    Apr, 2021

  • 深度贝叶斯主动半监督学习

    通过半监督深度学习与主动学习相结合的方法，使用尽可能少的标记样本，同时利用熵最小化对未标记样本进行训练，在 MNIST 数据集上仅使用 300 个标记样本实现 2.06% 的误差率和 1000 个标记样本实现 1.06% 的误差率。该方法可以获得高准确性的敏捷标注过程，同时节省标记成本。

    Mar, 2018

  • 将未标记的数据融入贝叶斯神经网络中

    使用对比学习框架，提出一种适用于未标记数据的贝叶斯神经网络（BNNs）的先验分布，得到自监督学习的标签效率和贝叶斯方法的规范不确定性估计，最后证明了该方法在半监督学习和低预算主动学习问题中的数据效率优势。

    Apr, 2023

  • 基于贝叶斯主动学习的生产系统研究与可重用库

    本研究分析了当前主要的主动式学习技术中存在的主要缺点，并提出了缓解这些缺点的方法，包括使用部分不确定性采样和更大的查询大小加速主动式学习循环，并展示了开源贝叶斯主动式学习库 BaaL。

    Jun, 2020

  • 主动学习：问题设置和最新发展

    本文介绍了有监督学习中获取标记数据的高成本和获取大量未标记数据的轻松方法，以及通过自适应选择标记样本来获得高精度预测模型的主要问题设置和最近的研究趋势。重点介绍了选择从数据中进行标记的学习获取函数的研究、关于主动学习算法的理论工作和顺序数据获取的停止标准。介绍了材料开发和测量的应用示例。

    Dec, 2020

  • 正类和未标注数据中的主动学习

    提出了一种能够在只有单类样本和无标签数据的情况下运作的主动学习算法，该方法通过分别估计正样本和未标记点的概率密度，计算信息性的期望值以获取更好的信息性度量。与其他类似方法相比，实验和经验分析结果表现出有前途的结果。

    Feb, 2016

  • 主动学习的边际效益：自我监督是否自欺欺人？

    本研究提供了一个将自我监督预训练、主动学习和一致性正则化自我训练整合的新算法框架，并在 CIFAR10 和 CIFAR100 数据集上进行了实验，揭示了自我监督预训练在半监督学习中的重要性，被 S4L 技术所替代的主动学习的价值。

    Nov, 2020

  • 主动半监督学习的语义分割

    提出了通过结合主动学习和半监督学习来减少标注样本数量的新算法，应用于语义分割任务取得了优异的成果。

    Mar, 2022