Apr, 2023

针对优化不可分解指标的成本敏感型自训练

PDF
TL;DR本研究介绍了一种 Cost-Sensitive Self-Training 框架，可以更好地利用未标记数据来优化非可分解指标，从而获得更好的半监督学习方法。该框架可应用于视觉和自然语言处理任务，并在多个数据集和指标上取得了优于现有方法的结果。
self-trainingsemi-supervised learningdeep neural networksnon-decomposable metricscost-sensitive self-training
发现论文，激发创造
  • 图像字幕的自我批判序列训练

    本研究通过自我批判的序列训练 (SCST) 优化了图像说明系统，采用强化学习的政策梯度方法直接训练系统，并使用 MSCOCO 测试指标，使性能显著提高，实现了针对端到端系统直接优化非可微分度量的目标。

    Dec, 2016

  • 使用不可分解目标训练超参数模型

    本文提出一种新的代价敏感损失函数，以解决标签代价权重重新加权训练在过度参数化模型中可能导致的问题，并进行了 ResNet 模型的实验验证。

    Jul, 2021

  • 自我监督的可扩展深度压缩感知

    提出了一种新颖的自我监督可扩展深度压缩感知方法，称为 SCL 和 SCNet，它不需要 GT，可以处理任意的采样比率和矩阵。实验证明该方法在 1D/2D/3D 信号上取得了显著的效果和优越性能，具有灵活性和泛化能力，可以与最先进的有监督方法竞争。

    Aug, 2023

  • 去偏自我训练用于半监督学习

    在半监督学习中，为了减少标记数据的需求，经常使用自我训练来分配伪标签。然而，由于自我训练中可能会出现错误的伪标签，从而导致训练不稳定，因此提出了一种去偏差的自我训练方法，它使用两个参数独立的分类器头来分离伪标签的生成和利用，并通过对抗优化表征来改善伪标签的质量，从而稳定训练并提高性能。

    Feb, 2022

  • 选择性混合微调以优化不可分解的目标

    通过互联网使用量的增加产生了大量的数据，从而导致了各种监督和半监督机器学习算法的采用，这些算法可以有效利用庞大的数据量来训练模型。然而，在将这些模型部署到实际环境之前，必须严格评估性能指标（如最坏情况召回率）并满足公平性等约束。我们发现目前最先进的经验技术在这些实际的不可分解性能目标上提供了次优的性能。另一方面，理论技术需要针对每个性能目标从头开始训练新模型。为了弥合这一差距，我们提出了 SelMix 技术，这是一种选择性混合的低成本微调技术，用于已预训练模型以优化所需的目标。我们的核心思想是确定一个采样分布，以在特定类别之间的样本之间进行特征混合，从而优化给定的目标。我们在标准基准数据集上对我们的技术进行了全面评估，与现有的经验和理论基础方法进行了比较，用于不平衡分类。我们发现所提出的 SelMix 微调显著提高了在各种实际的不可分解目标上的性能。

    Mar, 2024

  • COSST：利用综合监督和自我训练进行部分标记数据集的多器官分割

    本文提出了一种名为 COSST 的新型训练框架，通过自我训练有效而高效地集成多种监管信号，并通过潜在空间的异常检测来减轻伪标签的性能下降，进而在各种分割任务中实现了显着的性能改进。

    Apr, 2023

  • 自学习：一项调查

    本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

    Feb, 2022

  • 通过自训练增强反事实分类

    本文提出了一种基于自训练和伪标记的方法，将观察数据中的有限未见行动的结果用分类值进行插值，以模拟随机试验的结果，并解决传统监督学习不可用的问题，应用到计价、在线营销、精准医疗等领域。

    Dec, 2021

  • 置信度正则化自训练

    本文提出了一种基于置信度正则化的自训练框架，在目标域上进行伪标签预测，并通过交替优化联合优化伪标签来实现领域自适应，其中伪标签作为连续隐变量进行处理，该方法在图像分类和语义分割中实验证明了其具有优异的性能。

    Aug, 2019

  • 双重稳健自学习

    本研究介绍了一种名为双重稳健自训练的算法，利用未标记的数据生成伪标签，与少量的标记数据相结合进行训练，以解决半监督学习问题。经实验证明，该算法优于标准的自训练基线，且在 ImageNet 数据集上表现出色。

    Jun, 2023