EMNLPOct, 2023

半监督语言理解中基于不确定性的参数高效自训练

PDF
TL;DRUPET 是一个新颖的、针对标记数据稀缺问题的不确定性感知的参数高效自训练框架，通过在蒙特卡洛（MC）dropout 和贝叶斯神经网络（BNN）中进行不确定性估计，并基于置信度和确定性选择可靠的伪标记样本，在学生训练中引入多个参数高效学习（PEL）范式来仅优化一小部分参数，以及提出了一种新颖的 Easy-Hard 对比调优方法来增强鲁棒性和泛化性能。大量的实验证明 UPET 在性能和效率方面取得了显著改进。
pre-trained language modelsself-trainingsemi-supervised learninglabeled data scarcityparameter-efficient learning
发现论文，激发创造
  • 面向少标签文本分类的不确定性自训练

    本文提出了一种基于贝叶斯深度学习的半监督学习方法，通过利用大规模未标记数据集，以文本分类为应用场景，仅使用 20-30 个样本能够训练出预训练语言模型的近似精度，相较于基线提高 12% 以上。

    Jun, 2020

  • 低资源神经序列标注的不确定性自我训练

    本文提出了 SeqUST， 一种新颖的不确定性感知自我训练框架，以解决标记数据稀缺性问题并有效利用未标记数据来改善神经序列标注的性能，并在六个基准测试中展现出在低资源场景中超越强基线模型的能力。

    Feb, 2023

  • 数据高效深度学习的自动调整方法

    本文提出了 Self-Tuning 模型，通过自动调整来联合探索有标签和无标签数据以及预训练模型的转移，并且使用 Pseudo Group Contrast 机制来缓解对伪标签的依赖性和提高对错误标签的容忍度。实验表明，在五个任务中，Self-Tuning 具有比其 SSL 和 TL 对应物更好的表现，例如在 15% 标签的 Cars 数据集上将精度提升了一倍。

    Feb, 2021

  • 通过带不确定性估计的自我学习提升跨语言迁移

    提出了一种基于自学习的框架，结合目标语言的未标记数据和不确定性评估方法，使用三种不同的不确定性评估方法对跨语种传递的具体情况进行了分析， 并在包括 40 种语言的两个跨语种任务中评估了该框架，其中包括命名实体识别和自然语言推理，并在 NER 和 NLI 方面的平均性能分别超过了 10 F1 和 2.5 准确度得分的基线模型。

    Sep, 2021

  • 关于伪标签的辩护：一种基于不确定性的半监督学习伪标签选择框架

    本文提出一种基于不确定性的假标签选择框架，通过减少训练过程中的噪音来提高假标签的准确性，并可以生成负假标签用于多标签分类和负学习，相比于最近的半监督学习方法在 CIFAR-10、CIFAR-100、UCF-101 和 Pascal VOC 数据集上获得了很好的性能。

    Jan, 2021

  • 增强自训练方法

    本文介绍了多种改进的方法以减轻自我训练管道中的确认偏差，评估了这些改进在多个数据集上的表现，证明在现有的自我训练设计选择上实现了性能增益，并研究了增强方法对未知类别的 Open Set 无标签数据的扩展性。

    Jan, 2023

  • 双重不确定性自训练用于半监督医学图像分割

    在半监督医学图像分割领域，如何从未标记的图像中有效学习图像特征以提高分割的准确性是研究的主要方向之一，本文基于自我训练框架，通过添加样本级别和像素级别的不确定性来稳定训练过程，即有选择地重新训练未标记的样本并为伪标签分配像素级别的不确定性来优化自我训练过程，实现了更好的分割性能。

    Apr, 2023

  • 正界未标示对比学习

    这篇论文研究并扩展了自监督预训练在受限标注数据上的应用，提出了一种新颖的 PU 学习目标正无标噪声对比估计（puNCE）以通过有限监督获得表示，实验证明 puNCE 在受限监督下持续优于现有无监督和监督对比基线。

    Jun, 2022

  • 基于概率教师的领域自适应目标检测学习

    本文提出了一种名为 Probabilistic Teacher（PT）的简单但有效的框架，通过从逐渐演变的 “老师” 中捕捉未标记目标数据的不确定性来引导学生的学习，从而优化了无监督域适应目标检测任务的性能并提出了 Entropy Focal Loss（EFL）以进一步加强不确定性引导的自训练方法，结果表明 PT 在多个基准测试中均超过以往工作的表现并取得了最新的最佳结果。

    Jun, 2022

  • AcTune: 基於預訓練語言模型的半監督主動學習中不確定性感知的主動自我訓練

    提出了一种名为 AcTune 的新框架，该框架利用未标记数据来提高主动预训练语言模型的标记效率，该方法采用了区域感知采样策略和基于动量的记忆库技术，将主动预训练语言模型的标记效率提高了 56.2％。

    Dec, 2021