ICLRJul, 2023

使用未标注数据的置信度估计

PDF
TL;DR通过检查训练过程中的预测一致性，我们提出了一种自信度评估方法，用于半监督学习场景下在大部分训练标签不可用的情况下合理地估计模型对未标记样本的自信度。我们使用训练一致性作为替代函数，并提出了一种一致性排序损失函数用于自信度评估。在图像分类和分割任务中，我们的方法实现了自信度评估的最新性能。此外，我们通过一个下游主动学习任务展示了所提方法的好处。
overconfidencedeep neural networksconfidence estimationsemi-supervised learningprediction consistency
发现论文，激发创造
  • 提高置信度估计的可靠性

    本研究提出了一种基于元学习的框架来同时提高置信度估计模型在不均衡数据和各种数据输入情况下的表现，并在单目深度估计和图像分类任务中进行了验证。

    Oct, 2022

  • 通过增强未标记数据上的不确定性改进半监督语义分割

    我们提出了一种新的半监督语义分割视角，通过对训练数据集中标记和无标记分布的分析，我们发现即使两个数据集采样自相同分布，标记和无标记数据集之间的分布差异也不能忽视。为了解决这个问题，我们在理论上进行了分析并从实验上证明了适当提高无标记数据的不确定性可以帮助减小分布差异，从而提高模型的推广能力。我们提出了两种策略，并设计了一种特别针对半监督语义分割的不确定性增强算法，基于这些理论进行了大量实验，结果证实了算法和策略的有效性。我们的插拔式不确定性增强器小巧高效，对于超参数具有鲁棒性，但可以显著提升性能。与当前流行的半监督语义分割方法在常用基准数据集 Cityscapes 和 PASCAL VOC 2012 上不同的训练设置下，我们的方法在实验中取得了最新性能。

    Nov, 2023

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020

  • 深度半监督学习中的伪标记和确认偏差

    提出基于伪标签生成的半监督图像分类方法，利用 mixup 增广和每个 mini-batch 至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。

    Aug, 2019

  • 重新审视置信度估计：朝向可靠的故障预测

    过去的研究表明，置信度评估方法往往会对错误的预测产生不利影响，本研究提出了一种新的置信度评估方法，通过寻找平坦极小值来扩大置信度差距，从而实现在多种分类场景下的失败预测性能的持续改进。

    Mar, 2024

  • 基于不确定性引导的 OCT 图像视网膜层半监督分割

    本文提出了一种利用半监督学习方法和贝叶斯深度学习进行医学图像分割的方法，改进了医学图像分割任务中，由于标记数据缺乏导致的训练深度学习方法所存在的问题，同时在视网膜层分割任务中表现出良好的性能。

    Mar, 2021

  • 控制性弱监督训练神经网络：避免重复导师的错误

    该研究提出了一种半监督学习方法，利用一个 “目标网络” 和一个 “置信网络” 进行多任务训练，在大量弱注释未标注数据上优化目标网络，同时用置信网络的分数来加权目标网络的梯度更新，以避免噪声标签对目标网络模型的质量造成损害，并在评估中证明其相对基线的性能得到提高，同时从弱标签中提高了学习速度。

    Nov, 2017

  • 使用自训练集成方法检测未标记数据上的错误并估计准确性

    本文提出了一个结合了模型集成学习和自训练的框架，用于解决深度学习模型在实际部署中遭遇训练数据分布不同的测试数据导致性能下降的问题，同时解决无监督准确度估计和错误检测两个挑战性任务，并在 59 项任务中取得了最优结果。

    Jun, 2021

  • 通过全监督学习从弱监督学习中学习

    本文介绍了一种在大数据情况下使用弱标签和少量真正标注数据训练神经网络的方法，通过训练目标网络和置信网络来控制目标网络的梯度更新，从而避免使用有噪音标记的数据更新网络权重会影响目标网络模型的品质。

    Nov, 2017

  • 小标记和大无标记集合下的神经网络抵抗（以及支持）自训练：分类

    我们提出了一种基于神经网络的半监督文本分类器，利用自训练的正负属性。为了解决自训练中的语义漂移问题，我们重新定义了伪标签的角色并构建了一个层次化的信息结构。此外，我们还提出了一种混合度量方法来代替简单的置信度测量，以克服神经网络输出的欠校准问题。我们在五个标准基准测试中评估我们的模型，并表明它明显优于十个多样化的基准模型。同时，我们展示了我们的模型对于语言模型预训练的改进具有附加性。

    Dec, 2023