在很多学习应用中，数据来自多个来源，每个来源提供的样本批次本身无法足够学习其中的输入 - 输出关系。本文提出了一种基于梯度的新算法，通过解决多个问题改进了现有结果的适用性，包括允许子群的底层输入分布不同、未知和重尾、复原所有子群以及一个重要批次规模甚至可以为无穷大等。

Sep, 2023

该研究探讨了在随机梯度下降中广泛使用的平均方案的好处。特别是，通过对最小二乘回归的随机逼近问题进行非渐进超额风险分析，提供了这些方案的性能保证，并提出了高度可并行化的随机梯度下降方法。同时，该研究认为，为了保证最小极大风险，针对混浊噪声的步长必须是噪声属性的一个函数。

Oct, 2016

研究机器学习中的二个核心问题 —— 如何预测最小值是否能推广到测试集，以及为什么随机梯度下降找到的最小值能很好地推广；探讨了小批量大小影响参数朝向大证据最小值的作用；当学习速率固定时，建议选择使测试集准确性最大化的最佳批次大小。

Oct, 2017

本文提出了对批标准化技术的概率解释，设计了一种概率模型，证明了批标准化可以最大化其较小边界的边际对数似然。基于新的概率模型，我们设计了一种一致性算法，以减少内存和计算成本，并提供了一种可扩展的不确定性估计技术。该方法在 MNIST 和 CIFAR-10 数据集上对受欢迎的架构进行了演示。

Feb, 2018

本文研究如何在小批次情况下，利用高斯过程（Gaussian Process, GP）臂式优化算法进行黑匣子训练优化，假设未知函数在内积核希尔伯特空间（RKHS）中具有较低的范数，并介绍了一种受到有限批量臂式算法启发的批算法，表明它在时间纬度为 T 时，使用 O (log (log T)) 个批次实现了累计遗憾上限 O^*(sqrt (T*gamma_T))，其中 O^*(*) 符号隐藏了与维度无关的对数因子，gamma_T 是与内核相关的最大信息增益，该上限对于几个感兴趣的内核来说几乎是最优的，并且我们的方法可以说是实现这种改进的算法中最简单的方法之一。此外，对于批次数目不依赖于 T 的情况，我们提出了我们算法的修正版本，并描述了遗憾如何受到批量数量的影响，重点关注平方指数和 Matern 内核。通过类似的算法无关下界证明了算法上限几乎是最小化的。

Oct, 2021

研究了在数据存在噪声和对抗性的情况下如何进行鲁棒学习，同时提出了有效的学习算法来解决分段区间分类和分布估计的问题。

Feb, 2020

本文旨在正式解释当代机器学习中观察到的 SGD 快速收敛现象。我们重点观察现代学习架构是过参数化的，并且被训练用于通过将经验损失（分类和回归）驱动到接近零的插值数据。我们表明，这些插值方案允许 SGD 快速收敛，与全梯度下降迭代次数相当。对于凸损失函数，我们获得了与全梯度下降相似的 “迷你批次” SGD 的指数收敛界限。关键的迷你批次大小可以视为有效迷你批次并行化的限制，并且几乎独立于数据大小。

Dec, 2017

本文研究现代机器学习系统中深度神经网络等通常高度过参数化的现象，探究其在数据生成、最大边界分类器和风险界限等方面的应用并给出改进性结果。

Apr, 2021

我们使用在线到批次转换范例，给出了从依赖数据源中获取的样本训练的统计学习算法的泛化界限，包括期望值和高概率。我们表明，统计学习器在依赖数据环境中的泛化误差等同于独立同分布环境中的泛化误差，除了一个依赖于底层混合随机过程的衰减速率且与统计学习器复杂性无关的项。我们的证明技巧涉及基于 Wasserstein 距离定义在线学习算法稳定性的新概念，并利用基于依赖随机变量的 “近似鞅” 浓度界限，得出了统计学习算法在依赖数据上的泛化误差的适当上界。

May, 2024

本论文提出了动态批次大小自适应方法，通过估计随机梯度的方差并将批次大小调整为与目标函数成比例的方式，从而消除了先前所述的学习速率降低的需要。与相关工作不同的是，我们的算法将批次大小与学习速率相结合，直接反映了两者之间的已知关系。在流行的图像分类基准测试中，我们的批次大小自适应可以更快地优化收敛，同时简化学习速率调整。

Dec, 2016