DimCL: 提升自我监督学习的维度对比学习
本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法(DCL),并对其进行了在多种基准测试中的复现和实时检验,最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。
Oct, 2021
本文介绍了一种自监督学习方法 —— 对比学习。为了避免嵌入向量全部收敛到常数解的问题,这篇文章提出了一种新的对比学习方法 DirectCLR,该方法直接优化表示空间而不依赖于显式可训练的投影仪。实验表明,DirectCLR 在 ImageNet 上的表现优于 SimCLR。
Oct, 2021
本文开发了一个理论框架以分析自我监督对比学习的可转移性,结果表明对比学习的下游表现在很大程度上取决于数据增强的选择,但对比学习无法学习域不变特征,即其可转移性受到限制。基于这些理论洞见,我们提出了一种新的方法 ArCL,它保证学习域不变特征,并可以轻松地与现有的对比学习算法集成。我们在几个数据集上进行实验,显示了 ArCL 显着提高了对比学习的可转移性。
Mar, 2023
通过解决先验任务从无标签数据集中选择和比较 anchor、negative 和 positive 特征来学习有用的表示,我们提出了一个概念性框架,该框架从数据增强管道、编码器选择、表示提取、相似性度量和损失函数五个方面表征对比自监督学习方法。我们分析了三种主要的 CSL 方法 - AMDIM、CPC 和 SimCLR-,并表明它们是这个框架下的特殊情况。通过设计 Yet Another DIM(YADIM),我们展示了我们框架的效用,该方法在 CIFAR-10、STL-10 和 ImageNet 上取得了竞争性结果,并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的 CSL 研究,我们发布了此概念框架的 PyTorch 实现,以及 AMDIM、CPC(V2)、SimCLR、BYOL、Moco(V2)和 YADIM 的标准化实现。
Aug, 2020
通过利用自我监督的推荐算法,本文提出了一种名为 RecDCL 的方法,它采用对比学习,解决了数据稀疏性和特征维度的问题,并在推荐任务中取得了优于现有模型的效果。
Jan, 2024
局部感知图对比学习 (LACL) 是一种自监督学习框架,通过基于掩膜的建模补充性地捕捉局部图信息,相对于纯粹的对比学习,有效解决了在应用于图数据时过于强调全局模式而忽略局部结构的问题。实验结果验证了 LACL 方法优于当前最先进方法,展示了其作为一种全面的图表示学习器的潜力。
Feb, 2024
本研究利用 DualCL 框架将分类器参数作为增广样本,与输入样本结合运用对比学习方法,在五个基准文本分类数据集上表现出较高的分类准确性,并证实了 DualCL 框架在学习具有判别性的表示方面的能力。
Jan, 2022
本文研究了具有同质化激活的一层和两层非线性网络的对比学习在训练动态中的非线性作用,发现非线性的存在可以导致许多局部极值,而线性激活只能学习到一个主要模式,同时非线性对于两层网络的学习是很重要的,并且发现了全局调制现象。
Jun, 2022