ACLSep, 2021

可差分教师的自训练

PDF
TL;DR提出了 DRIFT（Differentiable Self-Training）方法，将 self-training 视为 Stackelberg 博弈，以可微分的方式处理伪标签和样本权重，使用不同可微分性的 leader-follower 常规交互，获得更高的预测性能，适用于半监督和弱监督学习。
发现论文，激发创造
  • 增强自训练方法

    本文介绍了多种改进的方法以减轻自我训练管道中的确认偏差，评估了这些改进在多个数据集上的表现，证明在现有的自我训练设计选择上实现了性能增益，并研究了增强方法对未知类别的 Open Set 无标签数据的扩展性。

    Jan, 2023

  • 未来学习：一种新颖的自训练语义分割框架

    提出了一种新的自我训练策略，允许模型从未来中学习，可以提高合成标签的质量，从而提高半监督学习任务的性能表现。

    Sep, 2022

  • 去偏自我训练用于半监督学习

    在半监督学习中，为了减少标记数据的需求，经常使用自我训练来分配伪标签。然而，由于自我训练中可能会出现错误的伪标签，从而导致训练不稳定，因此提出了一种去偏差的自我训练方法，它使用两个参数独立的分类器头来分离伪标签的生成和利用，并通过对抗优化表征来改善伪标签的质量，从而稳定训练并提高性能。

    Feb, 2022

  • 神经序列生成的自训练再探

    本文提出了一种基于自训练的半监督学习方法，通过加入 label 缺失的无标签数据和模型预测，模型的性能和精确度可以得到有效的提升，而 dropout 和注入噪声则是关键操作。

    Sep, 2019

  • 自学习：一项调查

    本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

    Feb, 2022

  • SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

    提出一种基于学生的教师网络训练框架 SoTeacher，通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师 - 学生架构对，并且可以显著、一致地提高学生的性能。

    Jun, 2022

  • 双重稳健自学习

    本研究介绍了一种名为双重稳健自训练的算法，利用未标记的数据生成伪标签，与少量的标记数据相结合进行训练，以解决半监督学习问题。经实验证明，该算法优于标准的自训练基线，且在 ImageNet 数据集上表现出色。

    Jun, 2023

  • Dual Student: 半监督学习中打破教师限制

    本文介绍一种基于一致性方法来改善半监督学习（SSL）效果的新模型 —— 双生学生（Dual Student），它将原模型中的教师模型替换为另一个学生模型；还引入了一个新的概念 —— 稳定样本，利用它来设计一个稳定约束以便于模型的训练；本文还讨论了新模型的两种变体，并在 SSL 基准测试中对其进行了广泛的实验，证明了本文提出的新模型可以显著提高分类性能和领域适应性。

    Sep, 2019

  • 利用自我预训练的半监督文本分类

    该研究提出了一种名为 Self-Pretraining 的神经半监督学习模型，该模型可以无阈值地更新先前标记的文档的信念，并且可以处理语义漂移问题，使用迭代蒸馏过程，跨迭代传输假设，利用两阶段训练模型，使用高效的学习率调度和使用伪标签转换启发式方法。

    Sep, 2021

  • 标签匹配半监督目标检测

    本篇论文从分布级别和实例级别两个不同但互补的视角提出了一个简单而有效的 LabelMatch 框架，用于解决自我训练期间存在的标签不匹配问题，并通过 Proposal Self-assignment 机制确定准确的伪标签来促进学生和教师之间的匹配。在 MS-COCO 和 PASCAL-VOC 数据集上的实验结果表明，所提出的框架明显优于其他现有方法。

    Jun, 2022