面向内存受限环境的深层对比学习批量大小缩放

Jan, 2021

面向内存受限环境的深层对比学习批量大小缩放

Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup

Luyu Gao, Yunyi Zhang, Jiawei Han, Jamie Callan

TL;DR该论文介绍了一种称为渐变缓存的技术，该技术使用批次内负样本来学习高质量表示，并使得梯度可以逐个子集计算，从而减少内存使用。

Abstract

contrastive learning has been applied successfully to learn vector representations of text. Previous research demonstrated that learning high-quality representations benefits from batch-wise contrastive loss with a large number of negatives. In practice, the technique of →

contrastive learning vector representations in-batch negative batch encoding gradient caching

发现论文，激发创造

对比损失的小批量优化

本文研究了对比学习中的小批量优化理论方面，提出了基于谱聚类的方法来识别高损失小批量，实验证实了理论，并证明了我们提出的算法在实际相关设置中优于普通 SGD。

Jul, 2023

对比学习的硬负样本混合

研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

Oct, 2020

探索负样本在对比度表示学习中的作用

该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响，包括从理论和实践两个层面考察了负样本在 NLP 和视觉领域中的作用和效果。

Jun, 2021

BatchSampler: 用于视觉、语言和图形对比学习的小批量采样器

本文提出了 BatchSampler 技术，通过从输入数据中采样 mini-batches，从而改进对比学习，实验表明，BatchSampler 能够一直提高强大的对比模型的性能。

Jun, 2023

通过样本排列优化的全局对比批次采样

本研究提出一种新的批处理采样方法，Global Contrastive Batch Sampling （GCBS），作为 hard negative mining 的有效替代。实验证明，GCBS 可以显着提高句向量和代码搜索任务的性能，而且实现简单、计算效率高，并不需要更改模型。

Oct, 2022

大批次训练的并发对抗学习

本研究提出使用对抗学习 (adversarial learning) 技术来增加大批量训练 (large-batch training) 的批量大小，以克服随着批量大小的增加而降低的数据增强表现的问题，并通过 Concurrent Adversarial Learning (ConAdv) 方法来解决对抗学习中的时间成本问题，在 ImageNet ResNet-50 训练中成功将批量大小扩展到 96K，并在保持高精度的同时大幅提高了模型的训练效率。

Jun, 2021

不是所有的负样本都相等：针对细粒度文本分类的标签感知对比损失

本文分析了在细粒度文本分类任务情感分类和情感分析中预训练语言模型的对比微调。适应性嵌入类关系的对比目标函数可以有助于不同地权衡正面和负面情感，使得 Label-aware Contrastive Loss 在更多混淆类别的情况下表现更好。

Sep, 2021

全局对比学习中可证明的随机优化：小批量不会影响性能

本文从优化的角度研究对比学习，提出了一种内存效率高的随机优化算法 ——SogCLR，可解决现有对比学习方法依赖大批量数据或特征向量词典的问题，并在自监督学习任务中取得了与 SimCLR 相似的性能。

Feb, 2022

通过困难负样本增强多模态对比学习中的概念理解

通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

Mar, 2024

大批量训练的实证模型

本文研究使用仅依赖梯度的统计量 (gradient noise scale) 来预测各种深度学习模型中最适合的 batch size 的大小，结果表明该参数可以在很多领域都适用，包括监督学习数据、强化学习领域以及生成模型训练。

Dec, 2018