本文研究了对比学习中的小批量优化理论方面，提出了基于谱聚类的方法来识别高损失小批量，实验证实了理论，并证明了我们提出的算法在实际相关设置中优于普通 SGD。

Jul, 2023

该论文介绍了一种称为渐变缓存的技术，该技术使用批次内负样本来学习高质量表示，并使得梯度可以逐个子集计算，从而减少内存使用。

Jan, 2021

本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略

Jun, 2023

本研究提出一种新的批处理采样方法，Global Contrastive Batch Sampling （GCBS），作为 hard negative mining 的有效替代。实验证明，GCBS 可以显着提高句向量和代码搜索任务的性能，而且实现简单、计算效率高，并不需要更改模型。

Oct, 2022

本文提出了基于噪声对比法的伪损失函数方法和解决缓存方案的方法，以优化组合优化问题的预测和优化方法中的训练时间和准确性的平衡。实验证明，该方法在计算成本的一小部分之内即可与现有技术匹配。

Nov, 2020

将 SCL 问题描述为 RoBERTa 语言模型精调阶段的多目标优化问题，使用线性标量化方法和精确 Pareto 最优解法解决优化问题，在多个 GLUE 基准任务上，无需使用数据增强、存储器库或生成对抗性示例，找到了比竞争对比学习基线更好的学习策略。

Sep, 2022

文中讨论了一种基于随机梯度估计的优化算法，解决了 Lan (2012), Cotter 等人 (2011) 和 Liu 与 Belkin (2018) 所提出的一些局限性，实现了更好的并行加速效率.

Jun, 2021

本文通过比较全批量训练和 SGD 在现代结构下在 CIFAR-10 数据集上的表现，证明了 SGD 的隐式正则化可以完全被显式正则化替代，并指出全批量训练受限于优化性质和 ML 社区花费在小批量训练上的大量时间和精力。

Sep, 2021

本文提出一种新方法，通过优化预期改进的线性或二次泰勒近似的下界与用于估计梯度的样本数量之间的比率来自动确定随机梯度下降方法中的批量大小，以解决梯度估计准确性和更新成本之间的折衷关系，并通过在流行的分类任务上与相关方法进行实证比较来评估其性能。

Dec, 2017

研究表明在拥有相同迭代次数的情况下，小或适中大小的 batch 在测试集上比非常大的 batch 具有更好的表现，同时研究如何随着预算增长而改变最佳学习率计划，并提供一个基于随机微分方程的 SGD 动态的理论解释。

Jun, 2020