本论文详细分析了对比学习的三个问题:扩展标准对比损失、局部特征学习和竞争特征抑制现象,并指出了此类方法可能存在的数据增强限制和学习饱和等问题。
Nov, 2020
本研究通过生成精心设计的负样本,表明对比学习可以学习到更具有鲁棒性的表示,减少对低级特征的依赖,而我们通过纹理和面板增强的方式生成负样本,在特定的 ImageNet 数据集上分类时表现出一定的可行性
Oct, 2021
通过对无标签数据进行对比学习,可以生成低维的特征向量表示,这些特征向量可以作为输入来提高有标签数据上的监督学习系统的准确性,并探讨了对比损失函数的最小化器及其与以往学习无标签数据方法的关系。
Sep, 2023
本文探讨了施加对比方法与协方差为基础的非对比方法的理论相似性,说明在合理的假设下它们是等效的。作者介绍了一些改进和变化,证明了这种理论结果,提出了更好的网络设计和超参数调整,可以让不同的 SOTA 方法更好地融合,以建立更好的自监督学习方法。
Jun, 2022
本文通过分析其特征学习过程,形式化研究了对比学习如何学习神经网络的特征表征。通过证明使用 ReLU 网络的对比学习可以如果采用适当的增强来稀疏表示,我们提出了一种名为特征解耦的基本原理来解释增强的效果,并在实践中验证了特征解耦原理与对比学习的基本机制相匹配。
May, 2021
通过开发一种新的无监督采样方法来选择难以区分的硬负样本,该方法改进了跨多种模态的下游性能,仅需要少量额外的代码进行实现,并且不会引入计算负担。
Oct, 2020
使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标,这种理论强调了对比学习,生成建模和非线性独立成分分析之间的基本联系,为推导出更有效的对比损失提供了理论基础。
Feb, 2021
本文提出了一种特征级方法,即采样合成难负样本用于对比学习(SSCL),以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本,然后通过控制锚定样本与其他负样本的对比度的方式进行采样,并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能,并可以轻松集成到现有方法中。
Apr, 2023
本文提出了一种理论框架以分析对比学习的算法,并引入潜在类别假设,该框架使我们能够在平均分类任务上证明学习表示的性能。同时,该文还表明,学习表示可以降低下游任务的(标记)样本复杂度。
Feb, 2019
本文研究基于对比学习的监督式分类学习策略,提出了一种混合网络结构,用于从不平衡的数据中学习更好的图像表征,以提高分类精度。具体而言,我们探索了两种对比损失的变体,以推动特征学习,从而实现更好的分类器。实验结果表明,基于对比学习的混合网络在长尾分类中优于传统方法。
Mar, 2021