Oct, 2023

CAST: 面向表格数据的集群感知自训练

PDF
TL;DR基于集群假设，我们提出了 Cluster-Aware Self-Training (CAST) 方法来进行表格数据的自我训练，并通过规范分类器的置信度来增强现有的自我训练算法，从而提高性能和稳健性。
self-trainingnoisy pseudo-labelscluster assumptioncasttabular data
发现论文，激发创造
  • 基于规范化伪标签的自我训练在表格数据上的再探讨

    本文探讨了在表格数据情景下，如何利用自训练和课程伪标记方法来应对半监督和自监督学习中存在的大量标记数据需求与非标记数据的局限性，同时提出了一种基于伪标记生成的置信度得分的新方法，通过该方法可以在高密度区域获得更可靠的伪标签。

    Feb, 2023

  • 领域自适应的循环自训练

    提出了循环自训练算法，通过引入 Tsallis 熵作为可信度友好的正则化方法，使得在无监督领域适应中的伪标签与真实目标具有更好的泛化性，实现基于无标注目标数据的迁移学习。

    Mar, 2021

  • 自学习：一项调查

    本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

    Feb, 2022

  • 增强自训练方法

    本文介绍了多种改进的方法以减轻自我训练管道中的确认偏差，评估了这些改进在多个数据集上的表现，证明在现有的自我训练设计选择上实现了性能增益，并研究了增强方法对未知类别的 Open Set 无标签数据的扩展性。

    Jan, 2023

  • SAT: 简单的实例自适应自训练提高半监督文本分类

    本文提出了一种简单的实例自适应自训练方法 (SAT)，用于半监督文本分类。SAT 通过生成两个扩充视图来识别伪标签并用于模型训练，实验结果表明 SAT 方法具有竞争力的性能。

    Oct, 2022

  • 面向少标签文本分类的不确定性自训练

    本文提出了一种基于贝叶斯深度学习的半监督学习方法，通过利用大规模未标记数据集，以文本分类为应用场景，仅使用 20-30 个样本能够训练出预训练语言模型的近似精度，相较于基线提高 12% 以上。

    Jun, 2020

  • 任务无关表示整合：基于自监督的持续学习方法

    提出了 Task Agnostic Representation Consolidation (TARC)，一种用于连续学习的两阶段训练范式，将自监督训练和有监督学习交织在一起，旨在解决深度神经网络（DNNs）中的遗忘问题。实验证明，该训练法可以轻松地添加到基于记忆或基于正则化的方法中，并为更具挑战性的 CL 设置提供一致的性能提升，同时实现更稳健和良好校准的模型。

    Jul, 2022

  • 基于自训练的领域自适应的双阶段伪标签密集化

    本研究提出了一种 Two-phase Pseudo Label Densification （TPLD）框架来解决自我训练中的次优模型问题，该框架在处理有序标签方面取得了显着改善，并与现有的 CRST 自我训练框架相结合，在标准的 UDA 基准测试上实现了最新的技术成果。

    Dec, 2020

  • 邻域正则化自训练在少标签学习中的应用

    本文提出了一种利用相似标签样本选择的自训练深度神经网络的方法，可有效降低错误伪标签产生的噪声影响，并均衡自训练过程性能提高和时间效率优化的关系。

    Jan, 2023

  • 置信度正则化自训练

    本文提出了一种基于置信度正则化的自训练框架，在目标域上进行伪标签预测，并通过交替优化联合优化伪标签来实现领域自适应，其中伪标签作为连续隐变量进行处理，该方法在图像分类和语义分割中实验证明了其具有优异的性能。

    Aug, 2019