Oct, 2022

监督对比回归

PDF
TL;DR本文提出了一种名为 Supervised Contrastive Regression（SupCR）的框架，该框架通过比较样本之间的目标距离来学习具有回归意识的表示，可以与现有回归模型组合以提高性能，在计算机视觉、人机交互和医疗保健等五个真实回归数据集上的实验证明，使用 SupCR 可以达到最先进的性能，同时在所有数据集、任务和输入模式上，始终提高了回归基线的性能。此外，SupCR 还可以改善对数据损坏的鲁棒性，对减少的训练数据的弹性，以及奇异目标的学习泛化能力。
supervised contrastive regressionregression-aware representationend-to-end learningreal-world regression datasetsstate-of-the-art performance
发现论文，激发创造
  • 超球面一致性正则化

    本文介绍了一种基于共享特征编码器的监督学习和无监督学习的联合训练方式，结合自监督学习和有标签信息可以提高性能，但该方案仍存在分类器偏差问题。因此，提出了一种名为超球面一致性正则化 (HCR) 的简单但高效的方法来避免标签偏差问题，通过特征依赖信息对分类器进行正则化。该方法通过最小化二元交叉熵的成对距离相似性度量来实现数据点具有相似结构，实验证明该方法在半监督和弱监督学习中表现优异。

    Jun, 2022

  • ConR：用于深度不平衡回归的对比正则化器

    提出了 ConR，一种对深度不平衡回归问题进行有效处理的方法，它通过在特征空间中模拟全局和局部标签相似性，并且通过先进的方法显著提升了现有方法在三个大规模深度不平衡回归基准上的性能。

    Sep, 2023

  • 自己混合你的一对

    我们提出了一种用于回归的有监督对比学习方法 SupReMix，通过整合更丰富的有序信息，它能够培养连续有序的回归数据表示，从而显著提高回归性能，并在转移学习、样本不平衡和样本数量较少等回归挑战中表现优异。

    Sep, 2023

  • 视觉表示对比学习的简单框架

    SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

    Feb, 2020

  • 监督对比学习

    本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

    Apr, 2020

  • 高光谱数据回归的对比学习

    本文提出了一种用于高光谱数据回归任务的对比学习框架，通过提供一系列与高光谱数据增强相关的转换方式，并研究对比学习对回归任务的影响，实验结果表明该框架和转换方式明显提高了回归模型的性能，优于其他最先进的转换方式。

    Feb, 2024

  • 对比逆回归降维

    本文提出了一种针对对照研究的有监督降维方法 contrastive inverse regression，该方法使用 Stiefel 流形和非标准损失函数进行优化，并在数字学习中证明了其相对于竞争方法的改进性能。

    May, 2023

  • CoReFace: 深度人脸识别的样本引导对比正则化

    提出一种名为 CoReFace 的新方法，它将样本引导的对比学习应用于特征表示学习，以在特征表示学习中直接规范图像级别关系。 CoReFace 的实验表明其与现有最先进方法具有极高的竞争力。

    Apr, 2023

  • 对比学习用于转化率预测

    本文提出了一种基于对比学习的 CV R 预测框架，使用大量无标签数据学习更好的数据表示，改善预测性能。通过嵌入掩蔽、虚假否定排除和监督正样本包含等方法，削弱了数据稀疏性的限制，实验证明其在真实世界的转化数据集上具有优越表现。

    Jul, 2023

  • SelfReg: 自监督对比正则化用于领域通用化

    本文提出了一种基于自监督对比正则化 (SelfReg) 的领域泛化正则化方法，使用该方法可以有效解决对比学习中负采样对性能的影响，而且还提出了一种类别特定的领域扰动层 (CDPL)，使得即使只有正样本对，也能有效应用多样本混合增强技术。实验结果表明，该方法在最近的基准测试中表现出与传统技术同等的性能。

    Apr, 2021