无先验信息的在线学习
本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。
Jun, 2012
在线学习排序的领域，Bayesian ranking bandit algorithms 已被证明可以使用先前的知识来提高效能。本文提出并分析了自适应的算法，解决了现有工作需要匹配真实先验的主要局限性，并将这些结果扩展到线性和广义线性模型。此外，我们还考虑点击反馈措施，并通过合成和现实世界实验证明了我们算法的有效性。
Jan, 2023
该研究提出了一种新型算法框架用于在线学习的模型选择，通过采用随机演出的基于新型算法框架的 “多尺度” 算法进行预测，可以在最小结构假设下，获得在线模型选择预言不等式，实现了一种通用的元算法框架，并进一步为矩阵类、非嵌套凸集等特殊模型提供了新的预言不等式。
Dec, 2017
本文探讨了机器学习中的信息约束，包括内存、通信、数据部分读取等约束对算法性能的影响，并得出针对不同情形，在特定限制下，算法表现将不如无限制情形的结论。
Nov, 2013
在未知时间的在线学习中，我们应用最小二乘分析，提出了一种新的自适应算法，该算法可以应用于在线凸优化，追随摇摆的领导者，指数权重算法和一阶界，实验表明在在线线性优化方面，我们的算法表现优于许多其他现有算法。
Jul, 2013
该论文提出了一种面向在线学习的反向优化算法框架，设计了一种隐式更新算法用于处理噪声数据，并证明其具有统计一致性。实验表明，该算法具有很高的精度和鲁棒性，并且在计算效率上比批量学习更具优势。
Oct, 2018
本文介绍了在学习增强的在线算法中使用回归技术来预测未来输入参数的方法，并在广义滑雪租赁、装箱问题、最小完成时间调度等一般在线搜索方案的背景下探讨了这种方法。通过在设计回归问题的损失函数中结合在线优化基准，我们显示了这种回归问题样本复杂度的近似上下界，并将我们的结果扩展到了不可知设置。
May, 2022
本论文主要介绍了一些关于自适应算法的研究工作，包括在随机优化、深度神经网络和非凸优化等方面的应用，提出了新算法并进行了理论和实验分析。其中，SignSGD 算法具有很好的理论性质和性能，并能够自适应地适应平滑性条件。
Jun, 2023
本研究解决在线学习中的参数调整问题，提出用于线性模型的算法，使其预测结果不受特征缩放的影响，并且在保持运行时性能的同时达到与使用最优学习率的 OGD 算法相同的遗憾界限。
Feb, 2019
本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。
Jun, 2019