CVPRJun, 2022

超球面一致性正则化

PDF
TL;DR本文介绍了一种基于共享特征编码器的监督学习和无监督学习的联合训练方式，结合自监督学习和有标签信息可以提高性能，但该方案仍存在分类器偏差问题。因此，提出了一种名为超球面一致性正则化 (HCR) 的简单但高效的方法来避免标签偏差问题，通过特征依赖信息对分类器进行正则化。该方法通过最小化二元交叉熵的成对距离相似性度量来实现数据点具有相似结构，实验证明该方法在半监督和弱监督学习中表现优异。
contrastive learningself-supervised learningsupervised learninghcrsemi-supervised learning
发现论文，激发创造
  • 半监督学习的对比正则化

    本文中提出的聚类特征对比正则化方法在半监督学习中取得了最先进的结果，通过聚类伪标签的归属特征来更新模型，以便更有效地将标记信息传播到更多未标记样本。

    Jan, 2022

  • 探索自监督正则化在监督学习和半监督学习中的应用

    本文介绍了一种基于自监督正则化的半监督学习方法，其中利用了大量未标记数据来提高模型的性能，并且可以有效地应用于图像分类任务中，不需要任何补充的超参数进行调整。实验结果表明，该方法优于传统的监督和半监督学习方法。

    Jun, 2019

  • 监督对比回归

    本文提出了一种名为 Supervised Contrastive Regression（SupCR）的框架，该框架通过比较样本之间的目标距离来学习具有回归意识的表示，可以与现有回归模型组合以提高性能，在计算机视觉、人机交互和医疗保健等五个真实回归数据集上的实验证明，使用 SupCR 可以达到最先进的性能，同时在所有数据集、任务和输入模式上，始终提高了回归基线的性能。此外，SupCR 还可以改善对数据损坏的鲁棒性，对减少的训练数据的弹性，以及奇异目标的学习泛化能力。

    Oct, 2022

  • 元综合正则化的自监督表示学习

    自我监督学习是通过利用数据增强策略产生相似表示来捕捉多个样本的共享信息，进而学习包含更加全面特征的模型方法。我们提出了一个称为 CompMod with Meta Comprehensive Regularization 的模块，通过双层优化机制来更新模型，使其能够捕捉到更全面的特征。此外，我们还从信息理论和因果反事实的角度为我们提出的方法提供了理论支持。实验证明，我们的方法在多个基准数据集上在分类、目标检测和实例分割任务中取得了显著的改进。

    Mar, 2024

  • 一致性正则化可提高标签噪声下的鲁棒性

    本论文实验证明，鼓励一致性规则的简单损失函数可以显著提高模型对噪声标签的鲁棒性。

    Oct, 2021

  • 特征空间重新归一化用于半监督学习

    本文提出了一种特征空间重整化机制 (FSR) 作为半监督学习的一种代替一致性正则化方法的方法，并将其与伪标签相结合，得到了一种名为 FreMatch 的新型有效的半监督学习模型，实验证明该方法在多种标准半监督学习基准数据集上能够取得更好的性能，并且所提出的特征空间重整化机制还能增强其他半监督学习方法的性能。

    Nov, 2023

  • 置信度正则化自训练

    本文提出了一种基于置信度正则化的自训练框架，在目标域上进行伪标签预测，并通过交替优化联合优化伪标签来实现领域自适应，其中伪标签作为连续隐变量进行处理，该方法在图像分类和语义分割中实验证明了其具有优异的性能。

    Aug, 2019

  • CoReFace: 深度人脸识别的样本引导对比正则化

    提出一种名为 CoReFace 的新方法，它将样本引导的对比学习应用于特征表示学习，以在特征表示学习中直接规范图像级别关系。 CoReFace 的实验表明其与现有最先进方法具有极高的竞争力。

    Apr, 2023

  • 监督对比学习剖析

    本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

    Feb, 2021

  • 半监督三维实例分割的实例一致性正则化

    提出了一种新的自我训练网络 InsTeacher3D，用于从无标签数据中探索和利用纯实例知识，通过实例一致性正则化实现半监督的 3D 实例分割，结果显示 InsTeacher3D 明显优于先前最先进的半监督方法。

    Jun, 2024