Apr, 2024

从卵石取珠：自动标记的改进置信度函数

PDF
TL;DR使用阈值自动标记和最优置信度函数来提高自动标记系统的性能。方法 Colander 在基线模型的标签覆盖率上实现了高达 60% 的改进，并且保持自动标记错误率低于 5%，使用与基线相同数量的标记数据。
auto-labelingthreshold-based auto-labelingconfidence scorescalibration methodscolander
发现论文，激发创造
  • 差模型的好数据：基于阈值的自动标注的基础

    本文分析了基于阈值的自动标注系统，推导了保证机器标注数据质量所需的人工标注验证数据量的样本复杂度上限，并通过模拟和实际数据集研究了基于阈值的自动标注在真实数据上的有效性和使用限制。

    Nov, 2022

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 基于能量模型的经过校准的置信度伪标签学习

    基于能量模型 (EBM) 的基于能量的半监督伪标签算法 (EBPL) 在网络训练期间通过共享特征提取部分来学习类别决策边界和输入数据分布，从而提高可信度校准，在半监督图像分类任务中优于现有的伪标签方法，具有更好的可信度校准误差和识别准确率。

    Apr, 2024

  • 半监督自动语音识别的替代伪标注方法

    通过使用伪标签技术的半监督学习，结合泛化的 CTC 损失函数、对抗性 CTC 损失函数和自动阈值方法，本研究提出了一种名为 “替代伪标签” 的新框架，以应对噪声伪标签带来的问题。

    Aug, 2023

  • 预训练 Transformer 内部分布校准的技巧

    本文探讨了针对预训练语言模型（PLMs）的置信度校准，提出了一种 Calibrated PLM（CALL）的组合方法，包括置信度惩罚损失、数据增强和集成方法，CALL 能够弥补对单独使用校准方法可能产生的缺陷，提高了分类和校准精度。

    Feb, 2023

  • 通过数据模糊化减轻标签噪声

    本文提出一种使用 “超集学习” 框架来处理标签噪声的方法，将目标信息进行模糊化，并添加额外的备选标签，以协同改善学习器的泛化性能。实验结果表明该方法在合成和真实数据上都能有效检测和纠正错误的训练标签。

    May, 2023

  • 使预训练语言模型既成为任务求解器又成为自我校准器

    为解决现实场景下对训练样本的有效利用，提出了一种训练算法 LM-TOAST，可以在保持原任务性能的同时，有效利用训练数据使预训练语言模型具有合理的置信度估计。

    Jul, 2023

  • BAL：平衡多样性和新颖性的主动学习

    通过自监督学习获取特征，利用聚类距离差异度量标识多样的数据，进而构建自适应子集来平衡多样和不确定的数据，该方法相对于已有的主流主动学习方法在广泛认可的基准测试上提高了 1.20% 的性能，同时在更大和更小的标注预算下也验证了该方法的有效性

    Dec, 2023

  • 校准解释：语义解析中的置信度估计

    研究了三种模型族的六种语义分析模型在两个英文语义分析数据集上的校准特征。基于三个模型的置信分数，提出并发布了两个数据集的新挑战分割。通过模拟注释器交互实验，证明了使用模型置信度可以帮助平衡专注任务的语义分析模型在可用性和安全性之间的权衡。提出了一个平衡了可用性和安全性的 DidYouMean 系统，并呼吁将校准包括在语义分析系统的评估中，并发布了一个计算校准度量的库。

    Nov, 2022

  • 超越主动学习：通过自动标注、人工修正和人工验证充分发挥人类互动的潜力

    提出了一种名为 CLARIFIER 的交互式学习框架，它利用自动化标签建议和不同难度级别的数据实例，实现更有效地利用人类交互以提高主动学习的性能。

    Jun, 2023