Jun, 2021

使用自训练集成方法检测未标记数据上的错误并估计准确性

PDF
TL;DR本文提出了一个结合了模型集成学习和自训练的框架，用于解决深度学习模型在实际部署中遭遇训练数据分布不同的测试数据导致性能下降的问题，同时解决无监督准确度估计和错误检测两个挑战性任务，并在 59 项任务中取得了最优结果。
deep learningunsupervised accuracy estimationerror detectionensemble learningself-training
发现论文，激发创造
  • 集合准确性的实用估计

    本文提出一种实用的方法来估计多个分类器的联合能力，与现有方法不同的是它不依赖于标签，从而使得在大型无监督数据集中进行工作成为可能。该方法通过组合误差的组合边界实现，能够高效地搜索可能产生更高联合准确性的分类器组合。此外，该方法适用于无标签数据，使其在现代的无监督学习场景中既准确又实用。通过在流行的大规模人脸识别数据集上进行实验证明了该方法的有效性，这些数据集为使用嘈杂数据进行细粒度分类任务提供了一个有用的测试平台。该方法与无监督学习的趋势性实践相吻合，通过衡量一组分类器的内在独立性，而不依赖于其他分类器或标记数据。

    Nov, 2023

  • 使用未标注数据的置信度估计

    通过检查训练过程中的预测一致性，我们提出了一种自信度评估方法，用于半监督学习场景下在大部分训练标签不可用的情况下合理地估计模型对未标记样本的自信度。我们使用训练一致性作为替代函数，并提出了一种一致性排序损失函数用于自信度评估。在图像分类和分割任务中，我们的方法实现了自信度评估的最新性能。此外，我们通过一个下游主动学习任务展示了所提方法的好处。

    Jul, 2023

  • 面向少标签文本分类的不确定性自训练

    本文提出了一种基于贝叶斯深度学习的半监督学习方法，通过利用大规模未标记数据集，以文本分类为应用场景，仅使用 20-30 个样本能够训练出预训练语言模型的近似精度，相较于基线提高 12% 以上。

    Jun, 2020

  • 半监督学习的时间集成

    本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

    Oct, 2016

  • 无标记数据下多分类器准确率的估计

    本研究通过谱方法，针对二元情况下的多个分类器预测结果，提出了一种无监督方法来估计分类器的准确性，同时构建了更准确的无监督集成分类器，并通过人工和真实数据集的实验表明了该算法的竞争性能。

    Jul, 2014

  • 解锁未标记数据：在线和静态环境下基于 Hui-Walter 范式的集成学习性能估计

    该论文介绍了将流行病学和医学领域中传统应用的 Hui-Walter 模式应用于机器学习领域，以估计关键性能指标和处理动态和不确定的数据环境。

    Jan, 2024

  • 提高置信度估计的可靠性

    本研究提出了一种基于元学习的框架来同时提高置信度估计模型在不均衡数据和各种数据输入情况下的表现，并在单目深度估计和图像分类任务中进行了验证。

    Oct, 2022

  • 小标记和大无标记集合下的神经网络抵抗（以及支持）自训练：分类

    我们提出了一种基于神经网络的半监督文本分类器，利用自训练的正负属性。为了解决自训练中的语义漂移问题，我们重新定义了伪标签的角色并构建了一个层次化的信息结构。此外，我们还提出了一种混合度量方法来代替简单的置信度测量，以克服神经网络输出的欠校准问题。我们在五个标准基准测试中评估我们的模型，并表明它明显优于十个多样化的基准模型。同时，我们展示了我们的模型对于语言模型预训练的改进具有附加性。

    Dec, 2023

  • 数据分布转移时，使用自学习

    本文针对系统域转移下的计算机视觉模型，提出了熵最小化和伪标记等自学习技术的应用，通过大量实验展示了显著的改进效果和实用性。同时，本文还提出了一个新的分类数据集 ImageNet-D，对于自适应算法来说具有一定的挑战性。

    Apr, 2021

  • 自我分布蒸馏：高效的不确定性估计

    本研究提出了一种新颖的训练方法 S2D，它可以有效地训练出一个单一模型以估算不确定性，也可以构建这些模型的集合并应用分层集成蒸馏方法，结果显示 S2D 模型优于标准模型和 Monte-Carlo Dropout，甚至连标准深度集成都能被 S2D 集成和新型蒸馏模型超越。另外还进行了 LSUN、Tiny ImageNet 和 SVHN 的外分布检测实验。

    Mar, 2022