ICMLFeb, 2021

通过退火自训练的 Sinkhorn 标签分配的半监督分类

PDF
TL;DR本文利用最优运输问题重新解释自训练标签分配过程，为标签分配提供了一个实用的退火策略，并允许通过灵活的上限约束来包含类比例的先前知识，这样可以在标准随机优化算法的内循环中使用这些分配问题的解决方案。该算法在 CIFAR-10、CIFAR-100 和 SVHN 数据集上比 FixMatch 等自训练算法更有效。
self-trainingsemi-supervised learningoptimal transportationprior knowledgestochastic optimization
发现论文，激发创造
  • 增强自训练方法

    本文介绍了多种改进的方法以减轻自我训练管道中的确认偏差，评估了这些改进在多个数据集上的表现，证明在现有的自我训练设计选择上实现了性能增益，并研究了增强方法对未知类别的 Open Set 无标签数据的扩展性。

    Jan, 2023

  • 自学习：一项调查

    本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

    Feb, 2022

  • 利用自我预训练的半监督文本分类

    该研究提出了一种名为 Self-Pretraining 的神经半监督学习模型，该模型可以无阈值地更新先前标记的文档的信念，并且可以处理语义漂移问题，使用迭代蒸馏过程，跨迭代传输假设，利用两阶段训练模型，使用高效的学习率调度和使用伪标签转换启发式方法。

    Sep, 2021

  • 自主标记：同时聚类与表示学习

    本文提出了一种通过最大化标签和输入数据索引之间的信息来解决标签聚类与表示学习相结合的问题的新方法。该方法可以有效地对数以百万计的输入图像和数以千计的标签进行自标注，以训练高度竞争的图像表示，具有优于现有模型的性能。

    Nov, 2019

  • SAT: 简单的实例自适应自训练提高半监督文本分类

    本文提出了一种简单的实例自适应自训练方法 (SAT)，用于半监督文本分类。SAT 通过生成两个扩充视图来识别伪标签并用于模型训练，实验结果表明 SAT 方法具有竞争力的性能。

    Oct, 2022

  • 双重稳健自学习

    本研究介绍了一种名为双重稳健自训练的算法，利用未标记的数据生成伪标签，与少量的标记数据相结合进行训练，以解决半监督学习问题。经实验证明，该算法优于标准的自训练基线，且在 ImageNet 数据集上表现出色。

    Jun, 2023

  • 小标记和大无标记集合下的神经网络抵抗（以及支持）自训练：分类

    我们提出了一种基于神经网络的半监督文本分类器，利用自训练的正负属性。为了解决自训练中的语义漂移问题，我们重新定义了伪标签的角色并构建了一个层次化的信息结构。此外，我们还提出了一种混合度量方法来代替简单的置信度测量，以克服神经网络输出的欠校准问题。我们在五个标准基准测试中评估我们的模型，并表明它明显优于十个多样化的基准模型。同时，我们展示了我们的模型对于语言模型预训练的改进具有附加性。

    Dec, 2023

  • SoLar: Sinkhorn 标签提炼在不平衡偏标签学习中的应用

    提出了基于最优传输的 SoLar 框架作为 PLL 问题的解决方案，该框架可用于弱监督情况下部分标签学习中的标签消岐，特别是在面对长尾分布和标签不完整情况下，该方法比先前的最新 PLL 方法表现出更高的性能。

    Sep, 2022

  • 自我训练提升自然语言理解的预训练

    本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。

    Oct, 2020

  • 半监督学习的时间集成

    本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

    Oct, 2016