ICLROct, 2020

自监督深度网络无标签数据自训练的理论分析

PDF
TL;DR本研究提出了一种统一的理论分析方法，以解释使用深度神经网络进行自训练的半监督学习、无监督领域适应和无监督学习。结果表明，在使用输入一致性正则化的自训练和输入准确性正则化的人口目标的最小化器下，假定数据的一个低概率子集相对于该子集的大概率邻域具有扩张性，而不同类别的样本邻域具有最小的重叠，可以达到与基准真实标签高精度的结果。
self-training algorithmsdeep neural networkssemi-supervised learningunsupervised domain adaptationinput consistency regularization
发现论文，激发创造
  • 邻域正则化自训练在少标签学习中的应用

    本文提出了一种利用相似标签样本选择的自训练深度神经网络的方法，可有效降低错误伪标签产生的噪声影响，并均衡自训练过程性能提高和时间效率优化的关系。

    Jan, 2023

  • 自学习：一项调查

    本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

    Feb, 2022

  • 神经序列生成的自训练再探

    本文提出了一种基于自训练的半监督学习方法，通过加入 label 缺失的无标签数据和模型预测，模型的性能和精确度可以得到有效的提升，而 dropout 和注入噪声则是关键操作。

    Sep, 2019

  • 小标记和大无标记集合下的神经网络抵抗（以及支持）自训练：分类

    我们提出了一种基于神经网络的半监督文本分类器，利用自训练的正负属性。为了解决自训练中的语义漂移问题，我们重新定义了伪标签的角色并构建了一个层次化的信息结构。此外，我们还提出了一种混合度量方法来代替简单的置信度测量，以克服神经网络输出的欠校准问题。我们在五个标准基准测试中评估我们的模型，并表明它明显优于十个多样化的基准模型。同时，我们展示了我们的模型对于语言模型预训练的改进具有附加性。

    Dec, 2023

  • 增强自训练方法

    本文介绍了多种改进的方法以减轻自我训练管道中的确认偏差，评估了这些改进在多个数据集上的表现，证明在现有的自我训练设计选择上实现了性能增益，并研究了增强方法对未知类别的 Open Set 无标签数据的扩展性。

    Jan, 2023

  • 自训练方式提升语义分割

    本文提出了一种半监督学习的方法，即自我训练范式，通过用标注数据训练教师模型并在大量未标注数据上生成伪标签，以较少的监督实现像素级准确模型，并在 Cityscapes，CamVid 和 KITTI 数据集上取得了最优表现，同时，在具有挑战性的跨域泛化任务上表现更佳，最后，为了减轻大量伪标签带来的计算负担，提出了一种快速训练计划来加速分割模型的训练。

    Apr, 2020

  • 了解逐步领域适应的自训练

    论文研究了机器学习系统对随时间变化而演化的数据分布的适应性，在渐进领域适应的情况下，证明了使用自我训练的非空界，通过正则化和标签增强来提高算法精度，特别是对于 Wasserstein-infinity 距离较小的转化数据和真实肖像数据集。

    Feb, 2020

  • 探索自监督正则化在监督学习和半监督学习中的应用

    本文介绍了一种基于自监督正则化的半监督学习方法，其中利用了大量未标记数据来提高模型的性能，并且可以有效地应用于图像分类任务中，不需要任何补充的超参数进行调整。实验结果表明，该方法优于传统的监督和半监督学习方法。

    Jun, 2019

  • 自训练用于类增量语义分割

    提出了一种基于自监督学习和伪标签的自训练方法，用于减轻深度神经网络在逐步学习新类任务时出现的灾难性遗忘问题，该方法不仅考虑了历史任务的知识，还利用了额外的数据提高了语义分割的性能。

    Dec, 2020

  • 神经网络顺序转移自监督预训练调查

    本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

    Jul, 2020