带有增强记忆的对比学习
本研究提出一种适用于长尾数据的平衡对比学习方法 (BCL),通过均衡梯度贡献和多类别出现于每次 mini-batch 的方式,使分类器实现更好的优化,并在多个长尾数据集上超过了现有竞争对手 (ClFAR-10-LT,CIFAR-100-LT, ImageNet-LT, 以及 iNaturalist2018)
Jul, 2022
本文提出 Self-Damaging Contrastive Learning (SDCLR) 的概念,通过一个动态的自我竞争模型来平衡长尾数据的表示学习,以实现对无监督训练的快速部署。
Jun, 2021
本文提出了一种新的 “子类平衡对比学习(SBCL)” 方法,通过在表示空间中对头类聚类,以捕捉头类和尾类之间的两层类层次结构,实现了实例和子类平衡,并通过在不同类之间的子类对比学习来学习原始类标签。
Jun, 2023
通过将受监督的对比损失整合到基于交叉熵的通信中,解决了长尾学习问题。具体而言,使用 Rebalanced Contrastive Learning (RCL) 方法来提高长尾分类准确度,通过实现几个关键方面,即特征空间均衡、类内紧凑性和正则化。在 Balanced Contrastive Learning (BCL) Framework 中实施 RCL,实验结果表明 RCL 提供了对 BCL 框架的丰富嵌入以及更高的准确度。同时,RCL 作为一个独立的损失函数,也实现了与最先进方法相当的准确度水平。
Dec, 2023
本文研究基于对比学习的监督式分类学习策略,提出了一种混合网络结构,用于从不平衡的数据中学习更好的图像表征,以提高分类精度。具体而言,我们探索了两种对比损失的变体,以推动特征学习,从而实现更好的分类器。实验结果表明,基于对比学习的混合网络在长尾分类中优于传统方法。
Mar, 2021
我们进行了关于有监督对比学习在多标签文本分类中的影响以及如何构建稳健的表示空间的研究,提出了一种新的对比损失函数,并在三个多标签数据集上实现了显著的宏 F1 分数改进。
Apr, 2024
使用监督对比损失(SCL)方法进行视觉表示学习,在长尾识别场景下,通过解耦 SCL 的训练目标和使用基于图像补丁的自我蒸馏来优化性能,实验证明该方法在长尾分类基准上具有卓越的准确率,并与集合方法相结合进一步提高性能。
Mar, 2024
该论文研究了如何通过有针对性的监督对比学习,提高长尾识别中少数类的识别准确率,提出了针对性的监督对比学习方法 (TSC),通过让不同类别的特征向量在训练过程中收敛至不同且均匀分布的目标点,从而提高了特征空间的均匀性,改善类别边界,提高了模型的泛化能力,实验结果验证了 TSC 方法在多个数据集上均取得了当下最先进的表现。
Nov, 2021
本研究利用 DualCL 框架将分类器参数作为增广样本,与输入样本结合运用对比学习方法,在五个基准文本分类数据集上表现出较高的分类准确性,并证实了 DualCL 框架在学习具有判别性的表示方面的能力。
Jan, 2022
本文发现在连续学习的情境中,通过对比学习方法学习到的表示对抗遗忘更加鲁棒,基于该观察,我们提出了一种基于重复学习的算法,该算法着重于持续学习和维护可转移的表示,并在常见的基准图像分类数据集上进行了广泛实验验证,该方法取得了最新的最佳性能。
Jun, 2021