本文提出了一种基于 Haar 小波基的在线预测算法，实现了记录总变化量有界序列的最优 O (n^(1/3)) 速率，适应未知平滑参数，并证明了在线梯度下降算法是这种情况下的子优解。

Jun, 2019

本研究基于贝叶斯优化方法，提出了两种自动调整搜索空间大小的算法，并将它们应用于深度学习中的优化问题，包括超参数调优、神经网络模型训练等，取得了不错的结果。

Aug, 2015

提出一个计算新框架以估算广义广义线性模型 (GGLM) 中的参数，该模型扩展了流行的广义线性模型 (GLM) 以解释时空数据中的观测依赖性。该方法使用单调算子为基础的变分不等式方法来克服参数估计中的非凸性并提供参数恢复的保证，适用于 GLM 和 GGLM，重点关注时空模型，并使用数值模拟和真实数据实例演示算法的性能。

Apr, 2023

研究了具有有界更新的迭代学习算法在非凸损失函数上的泛化特性，采用信息论技术。我们的主要贡献是针对具有有界更新的这些算法提出了新的泛化误差界，超出了之前仅关注随机梯度下降（SGD）的范畴。我们的方法引入了两个新颖之处：1）我们将互信息重新表述为更新的不确定性，提供了新的视角；2）我们采用方差分解技术来分解迭代中的信息，而不是使用互信息的链式法则，从而实现了一个更简单的替代过程。我们在不同设置下分析了我们的泛化界，并展示了当模型维度与训练数据样本数量以相同的速率增加时改进的界限。为了弥合理论与实践之间的差距，我们还研究了大型语言模型中先前观察到的标度行为。最终，我们的工作为发展实用的泛化理论迈出了更进一步的步伐。

Sep, 2023

本文应用 Bayes-Stability 框架证明算法相关的广义误差界，得到了随机梯度 Langevin 动力学以及其他一些带噪声梯度的方法（例如加动量，小批量和加速，熵 - SGD）的数据相关的新广义误差界，论文结果较之前相关研究更紧凑。

Feb, 2019

我们在非平稳环境中开发了一个多功能的统计学习框架，应用稳定性原则选择最大化利用历史数据的回溯窗口，并将累积偏差控制在可接受的范围内，以适应未知的非平稳性。通过两个新颖组件：函数相似性度量和数据分割技术，我们的理论展示了这种方法对于未知非平稳性的适应性，当种群损失强凸或仅利普希茨时，遗憾界在对数因子内是极小极限最优的。

Oct, 2023

本文提出了两个基于上限置信度算法的广义线性模型及其应用的方法，以解决在非静态环境下的上下文在线学习和塞德利反馈问题，这些结果表明这些算法在一般的情境序列下，并且存在突然变化时具有高概率的上限置信度边界，证明结果的形式为时间 T 内的 d^2/3 G^1/3 T^2/3 阶动态后悔。

Mar, 2020

本研究研究了随机梯度下降（SGD）这种普遍使用的随机优化方法的泛化特性，提供了依赖于在 SGD 计算的迭代路径上评估的随机梯度的本地统计信息的泛化误差的理论上限，其关键因素是梯度的方差及目标函数沿 SGD 路径的局部光滑性以及损失函数对最终输出的扰动敏感度和信息理论泛化界限等。

Feb, 2021

我们提出了一种基于变分贝叶斯的顺序贝叶斯推断新方法，该方法在在线设置中通过一步自然梯度下降从先验预测开始优化期望对数似然，证明了该方法在共轭模型下可以恢复准确的贝叶斯推断，并在非共轭设置中在计算成本可控情况下，实验上优于其他在线 VB 方法，如神经网络的在线学习。

May, 2024

本文提出一种基于预测和修正步骤的算法，采用离散时间采样方案，在每个时间步长采样一次问题数据，以找到和跟踪解轨迹，用于无约束凸优化问题，并且在某些情况下，渐近误差仅为 O（h ^ 2），大大优于梯度校正步骤仅误差为 O（h）的现有技术。

Sep, 2015