ICLRJun, 2018

无标签数据有多种一致的解释：为什么您应该平均

PDF
TL;DR研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果
semi-supervised learningconsistency regularizationstochastic weight averaginggeneralization performancecifar
发现论文，激发创造
  • 平均权重导致更宽的随机局部极小值和更好的泛化

    通过在 SGD 轨迹上抽样多个点进行简单平均，Stochastic Weight Averaging（SWA）过程实现了比传统训练更好的泛化，SWA 获得了 CIFAR-10、CIFAR-100 和 ImageNet 上多个最先进网络的显着测试精度提高，而且 SWA 实现简单、无几乎不需要计算成本。

    Mar, 2018

  • 一致性正则化可提高标签噪声下的鲁棒性

    本论文实验证明，鼓励一致性规则的简单损失函数可以显著提高模型对噪声标签的鲁棒性。

    Oct, 2021

  • 半监督学习的对比正则化

    本文中提出的聚类特征对比正则化方法在半监督学习中取得了最先进的结果，通过聚类伪标签的归属特征来更新模型，以便更有效地将标记信息传播到更多未标记样本。

    Jan, 2022

  • 半监督转移学习的自适应一致性正则化

    本研究提出了自适应一致性正则化的半监督学习和迁移学习模型，可以利用源域和目标域的强大预训练模型以及目标域的标记 / 非标记数据。在 CIFAR-10、CUB-200 和 MURA 等基准测试中，该模型的性能优于 Pseudo Label、Mean Teacher 和 FixMatch 等半监督学习技术的表现，并且可以在 MixMatch 和 FixMatch 的基础上获得额外的提高。

    Mar, 2021

  • 自适应随机加权平均

    提出了自适应随机权重平均（ASWA）技术，该技术结合了随机权重平均（SWA）和提前停止技术，仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中，结果表明 ASWA 在模型和数据集上都能实现统计上更好的泛化。

    Jun, 2024

  • 深度学习中贝叶斯不确定性的简单基准线

    SWA-Gaussian 是一种用于深度学习中的不确定性表示和校准的简单、可伸缩和通用方法，它利用随机加权平均（Stochastic Weight Averaging，SWA）和高斯分布来进行贝叶斯模型平均，具有较好的拟合效果和性能。

    Feb, 2019

  • 无监督数据增强的一致性训练

    通过使用先进的数据增强方法 RandAugment 和后向翻译来取代简单噪声操作，在大量无标签数据上进行一致性训练，从而在六种语言和三个视觉任务中带来了显著的改进，并在 CIFAR-10 数据集上超过了所有先前的方法，实现了错误率为 5.43，只使用了 250 个示例。

    Apr, 2019

  • 探索自监督正则化在监督学习和半监督学习中的应用

    本文介绍了一种基于自监督正则化的半监督学习方法，其中利用了大量未标记数据来提高模型的性能，并且可以有效地应用于图像分类任务中，不需要任何补充的超参数进行调整。实验结果表明，该方法优于传统的监督和半监督学习方法。

    Jun, 2019

  • 图像到图像转换的半监督范式 —— 变换一致性正则化

    本研究提出了一种基于几何变换的一致性约束正则化半监督图像翻译算法，在图像着色、去噪和超分辨率等数据敏感任务中，表现出仅需约 10-20% 有标注样本数量就能与标注样本量一样优秀的表现，同时可在视频处理任务中大幅提升质量。

    Jul, 2020

  • 随机变换和扰动的正则化对深度半监督学习的提升

    本文探讨利用卷积神经网络进行半监督学习的问题，提出利用随机数据增强、dropout、随机最大池化等技术来提高分类器的鲁棒性及稳定性，并设计了一种利用多次前馈预测结果来减小随机性差异的无监督损失函数，并在多个基准数据集上进行验证。

    Jun, 2016