Jun, 2023

BatchSampler: 用于视觉、语言和图形对比学习的小批量采样器

PDF
TL;DR本文提出了 BatchSampler 技术，通过从输入数据中采样 mini-batches，从而改进对比学习，实验表明，BatchSampler 能够一直提高强大的对比模型的性能。
in-batch contrastive learningnegative sharing strategyhard-to-distinguish instancesproximity graphbatchsampler
发现论文，激发创造
  • 通过样本排列优化的全局对比批次采样

    本研究提出一种新的批处理采样方法，Global Contrastive Batch Sampling （GCBS），作为 hard negative mining 的有效替代。实验证明，GCBS 可以显着提高句向量和代码搜索任务的性能，而且实现简单、计算效率高，并不需要更改模型。

    Oct, 2022

  • 对比损失的小批量优化

    本文研究了对比学习中的小批量优化理论方面，提出了基于谱聚类的方法来识别高损失小批量，实验证实了理论，并证明了我们提出的算法在实际相关设置中优于普通 SGD。

    Jul, 2023

  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 对比学习的硬负样本混合

    研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

    Oct, 2020

  • 面向内存受限环境的深层对比学习批量大小缩放

    该论文介绍了一种称为渐变缓存的技术，该技术使用批次内负样本来学习高质量表示，并使得梯度可以逐个子集计算，从而减少内存使用。

    Jan, 2021

  • 针对聚类感知的无监督句子表示负采样

    本文提出了 ClusterNS 这一新的对比学习方法，将聚类信息引入负样本选择，同时使用改进的 K 均值聚类算法提供难负样本和识别批内的假负样本，以解决这一问题。实验表明我们的方法在无监督句子表示学习方面的性能优于基线模型，在语义文本相似度任务上表现出色。

    May, 2023

  • 重新思考对比学习的样本选择：潜在样本的挖掘

    对比学习中通过综合考虑正负样本以及使用软硬权重策略来挖掘样本，分析并挖掘接近正样本的潜在负样本，相较于传统的自监督方法，该方法在 CIFAR10、CIFAR100 和 TinyImagenet 上分别达到了 88.57%、61.10% 和 36.69% 的准确率。

    Nov, 2023

  • 带难负样本的对比学习

    通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

    Oct, 2020

  • 当硬负采样遇上监督对比学习

    提出了一种新的监督对比学习目标 SCHaNe，在细调阶段引入了硬负样本采样，实验结果表明，在各种基准测试中，SCHaNe 在 Top-1 准确率上优于强基准 BEiT-3，少样本学习设置中取得了 3.32% 的显著增益和完整数据集细调中的 3.41% 的显著增益，这一目标在 ImageNet-1k 上取得了 86.14% 的准确率，并且改进的嵌入效果更好，可以解释实验中观察到的改进效果。

    Aug, 2023

  • 对比学习的增量式虚假负例检测

    本研究提出了一个新的自监督对比学习框架，该框架在训练过程中动态检测错误负样本并加以删除，在多个基准测试中表现优于其他自监督对比学习方法。

    Jun, 2021