EMC$^2$: 高效的 MCMC 负采样对比学习与全局收敛性

Apr, 2024

EMC$^2$: 高效的 MCMC 负采样对比学习与全局收敛性

EMC$^2$: Efficient MCMC Negative Sampling for Contrastive Learning with Global Convergence

Chung-Yiu Yau, Hoi-To Wai, Parameswaran Raman, Soumajyoti Sarkar, Mingyi Hong

TL;DR提出了一种名为 EMC² 的高效马尔可夫链蒙特卡罗负采样方法，可用于对比学习中的负样本生成，该方法利用自适应 Metropolis-Hastings 子程序在线生成适应样本，并证明了 EMC² 在 T 次迭代中找到全局对比损失的 O (1/√T)- 稳定点。与先前的方法相比，EMC² 是第一个无论批量大小如何都能实现全局收敛（到稳定状态）并具有低计算和内存成本的算法，数值实验验证了 EMC² 在小批量训练中的有效性，并获得了与基准算法相当或更好的性能。在 STL-10 和 Imagenet-100 上报告了图像编码器预训练的结果。

Abstract

A key challenge in contrastive learning is to generate negative samples from a large sample set to contrast with positive samples, for learning better encoding of the data. These negative samples often follow a softmax distribution which are dynamically updated during the training proc

contrastive learning negative sampling markov chain monte carlo efficient metropolis-hastings global convergence

发现论文，激发创造

条件负采样用于视觉表征对比学习

本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

Oct, 2020

对抗性对比估计

本文提出了一种对比学习的方法，将负采样器增强为包含一个对抗性学习的混合分布，从而找到更难的负样本，这迫使主模型更好地学习数据的表示，通过在学习词嵌入、序列嵌入和知识图谱嵌入等方面进行评估，观察到了更快的收敛速度和更好的结果。

May, 2018

噪声对比估计与负采样注释

该研究探讨语言概率模型参数估计中遇到的计算问题及其解决方案，针对噪声对比估计与负采样方法的异同进行分析，发现 NCE 是一种渐近无偏的通用参数估计技术，而负采样则适用于学习词表示，但不适用于通用估计器。

Oct, 2014

通过样本排列优化的全局对比批次采样

本研究提出一种新的批处理采样方法，Global Contrastive Batch Sampling （GCBS），作为 hard negative mining 的有效替代。实验证明，GCBS 可以显着提高句向量和代码搜索任务的性能，而且实现简单、计算效率高，并不需要更改模型。

Oct, 2022

探究对比学习中负样本对句子嵌入影响的案例研究

本文提出了一种 Momentum 对比学习模型（MoCoSE），用于为句子嵌入提供正负样本，验证了负样本队列的历史信息对模型性能的影响，结果表明历史信息处于某个特定范围时，模型性能最佳。在语义文本相似度（STS）任务中测试，取得平均 Spearman‘s 相关系数为 77.27% 的结果。

Feb, 2022

SimCE：简化协同过滤中的交叉熵损失

学习目标对协同过滤系统至关重要，贝叶斯个性化排名（BPR）损失广泛用于学习信息丰富的骨干。然而，BPR 往往收敛较慢且局部最优解不理想，部分原因是因为它仅考虑每个正样本一个负样本，忽视了其他未观察到项目的潜在影响。为了解决这个问题，最近提出的采样 Softmax 交叉熵（SSM）将一个正样本与多个负样本进行比较，从而提高了性能。我们的综合实验证实，推荐系统在训练过程中始终受益于多个负样本。此外，我们引入了一种简化的采样 Softmax 交叉熵损失（SimCE），该损失使用其上界简化了 SSM。我们在 12 个基准数据集上进行验证，使用 MF 和 LightGCN 骨干，结果显示 SimCE 在性能上明显优于 BPR 和 SSM。

Jun, 2024

通过随机梯度哈密顿蒙特卡罗增强低精度采样

低精度训练是一种具有低成本的技术，可以提高深度神经网络的训练效率，而不会牺牲太多准确性。本文通过在强对数凹和非对数凹分布中使用低精度和全精度梯度累加器的随机梯度哈密顿蒙特卡罗（SGHMC）进行低精度采样的研究。理论上，我们的结果表明，对于非对数凹分布，在 2-Wasserstein 距离中实现 ε- 错误，与最先进的低精度采样器随机梯度朗之万动力学（SGLD）相比，低精度 SGHMC 实现了二次改进（〜O（ε^ -2μ^ -2 log^2（ε^ -1）））。此外，我们证明了相对于低精度的 SGLD，低精度的 SGHMC 对量化误差更具鲁棒性，因为基于动量的更新对梯度噪音具有鲁棒性。实验上，我们在合成数据，MNIST、CIFAR-10 和 CIFAR-100 数据集上进行了实验，验证了我们的理论发现。我们的研究突出了低精度 SGHMC 作为一种高效精确的大规模和资源有限的机器学习采样方法的潜力。

Oct, 2023

EqCo: 自监督对比学习的等效规则

本文提出 EqCo（基于等效规则的对比学习），可以使用仅包含极少数量负样本（如每个查询仅包含 16 个）的自监督对比训练在大规模图像数据集（如 ImageNet）上以接近原有准确率进行，缩短了当前实践中大型批量训练或记忆库机制所需的训练时间。此外，作者提出的 simplified MoCo（SiMo）在使用较少负样本情况下在 ImageNet 上表现与 MoCov2 相当，提示负样本数量不是对比学习框架的关键因素。

Oct, 2020

当硬负采样遇上监督对比学习

提出了一种新的监督对比学习目标 SCHaNe，在细调阶段引入了硬负样本采样，实验结果表明，在各种基准测试中，SCHaNe 在 Top-1 准确率上优于强基准 BEiT-3，少样本学习设置中取得了 3.32% 的显著增益和完整数据集细调中的 3.41% 的显著增益，这一目标在 ImageNet-1k 上取得了 86.14% 的准确率，并且改进的嵌入效果更好，可以解释实验中观察到的改进效果。

Aug, 2023

通过复制交换随机梯度 MCMC 实现非凸学习

提出一种自适应的 replica exchange SGMCMC 方法来纠正偏差，并通过在各种设置上的实验测试该算法，在 CIFAR10、CIFAR100 和 SVHN 上取得了卓越的有监督学习和半监督学习任务的结果。

Aug, 2020