ICMLApr, 2022

完美平衡：改善监督对比学习的迁移性和鲁棒性

PDF
TL;DR通过向 SupCon 添加适当加权的类条件 InfoNCE 损失和类条件自编码器，可以在 5 个标准数据集上实现从粗糙到细致的迁移，以及在 3 个数据集上实现最差组的鲁棒性提高 4.7 个点，同时在 CelebA 上达到 11.5 个点的最优表现。
supervised contrastive learningrepresentationclass collapseinfonce lossclass-conditional autoencoder
发现论文，激发创造
  • 无偏监督对比学习

    本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

    Nov, 2022

  • SINCERE: 监督信息噪声对比估计再探讨

    通过改进 InfoNCE 的 Supervised InfoNCE REvisited（SINCERE）损失函数，我们提出了一种理论上合理的自监督深度学习方法，可以有效防止同类图像在嵌入空间中互相排斥，从而提高预训练过程中的类别嵌入分离性和最终线性分类器的性能。

    Sep, 2023

  • 监督对比学习

    本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

    Apr, 2020

  • 面部属性分类的公平对比学习

    本文提出了一种公平的监督对比损失方法（Fair Supervised Contrastive Loss），旨在保证图像的视觉表达不带有敏感属性信息，同时通过组内归一化减少分组之间的差异，实现了在公平性和准确性上的平衡，并在 CelebA 和 UTK Face 的数据集上验证了该方法的有效性。

    Mar, 2022

  • 调整后的对比学习

    本文提出了一种基于对比学习的新的损失函数 TCL，该函数能够推广到批处理的多个正负样本，同时提供了参数来调整梯度响应，优化了难例的响应，理论和实验都证明了它的效果优于 SupCon

    May, 2023

  • Sy-CON: 对称对比损失用于连续自监督表示学习

    引入了一种新型通用损失函数 Symmetric Contrastive (Sy-CON) loss 用于有效地连续自监督学习 (CSSL).

    Jun, 2023

  • 自对比学习：使用子网络的单视点监督对比框架

    本研究介绍了自同对比学习 (SelfContrastive) 和多出口模型 (multi-exit architecture)，以达到在 ResNet-50 上进行 ImageNet 分类的目的。SelfCon 通过多路单一网络计算出多个图像特征来替代传统的多视图方法，其精度相较于传统方法提升了 0.6%，同时只需用传统方法的 59% 的内存和 48% 的训练时间。

    Jun, 2021

  • 监督对比学习剖析

    本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

    Feb, 2021

  • 基于对比学习的混合网络用于长尾图像分类

    本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

    Mar, 2021

  • BaCon：通过均衡特征级对比学习提升非平衡半监督学习

    本论文讨论了在类别不平衡半监督学习问题中更平衡的特征分布的优势，并进一步提出了一种平衡特征层级对比学习的方法（BaCon）。该方法通过以对比学习方式直接规范实例表示的分布，达到了更好的效果。此方法在多个数据集上的综合实验证明了其有效性，并表现出比其他方法更好的鲁棒性。

    Mar, 2024