将现有的确定性优化方法的结构与贝叶斯优化的概念相结合，构建了一种概率线搜索算法，用于处理只有随机渐变可以获得的情况，并有效地消除了定义随机梯度下降的学习率的需要。
Mar, 2017
使用贝叶斯优化方法的新的线搜索方法可以更有效地探索搜索空间，达到更好的解决方案质量，且易于实施和集成到现有框架中，并与现有的最先进的方法相比，使用相同的资源解决更多问题。
May, 2024
展示了基于随机一阶模型和方向的线搜索方法的全局收敛速度，并说明了其评估复杂度与使用确定性精确模型的对应方法相同，但使用概率模型只增加了一个依赖于模型好坏概率的常数。同时，分析了一种概率三次正则化方法，允许近似概率二阶模型，并展示了与概率一阶方法相比的复杂度提高。
May, 2015
本文提出了一种使用线性搜索技术自动设置步长的随机梯度下降算法，在数据插值设置中，使用 Armijo 线性搜索方法的 SGD 实现凸和强凸函数的确定性收敛率，同时提出了一种 Lipschitz 线性搜索策略的随机额外梯度的算法，该算法在满足嵌入条件的非凸问题和鞍点问题的情况下实现了线性收敛率，并在标准分类任务上表现出了良好的性能。
May, 2019
从数据中学习机制模型的方法的发展是一个持续的努力，本文通过探索基于模拟的优化方法，讨论了参数估计与结构推断的挑战。
Apr, 2024
本文探讨了两种最近的随机梯度下降学习率优化方法：D - 自适应（arXiv:2301.07733）和概率线搜索（arXiv:1502.02846）。这些方法旨在通过整合距离度量和高斯过程后验估计来减轻选择初始学习率的负担。在本文中，我对两种方法提供了直观的概述，讨论了它们共同的设计目标，并提出了合并这两种算法的可能性。
Aug, 2023
本文提出了一种名为 PoNoS 的算法，采用非单调线搜索方法和 Polyak 初始步进大小，可优化 SGD/Adam 的收敛速度和一般性能，初步运行对比表明此基于线搜索的算法优于传统算法。
Jun, 2023
该论文提出了一种基于核的随机梯度下降算法，在训练过程中进行模型选择，不需任何形式的交叉验证或参数调整，并利用在线学习理论在数据相关性方面进行正则化的估计，证明了标准光滑性假设下的最优收敛速度。
Jun, 2014
本文介绍了一种基于线搜索的方法来发现平滑函数的不受限制的局部最小值，该方法使用迭代方法来计算搜索方向，收敛速度优秀。此外，还研究了使用共轭梯度和 Lanczos 方法进行搜索向量的近似计算，并得到了这些实用方法的修正收敛性和复杂性结果。
Jun, 2017
本文提出一种通过在 batch loss 负梯度方向上进行一维抛物线逼近的简单且强大的线性搜索方法来自动找到深度学习优化的最优步长，并在多个数据集和架构上进行了全面的评估。
Mar, 2019