机器学习的自适应优化算法
本篇论文研究了常见机器学习模型的超参数优化,介绍了一些最先进的优化技术,并讨论了如何将它们应用于机器学习算法。同时,也提供了许多用于超参数优化问题的库和框架,并在基准数据集上进行了实验,以比较不同优化方法的性能,提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。
Jul, 2020
本论文主要介绍了一些关于自适应算法的研究工作,包括在随机优化、深度神经网络和非凸优化等方面的应用,提出了新算法并进行了理论和实验分析。其中,SignSGD 算法具有很好的理论性质和性能,并能够自适应地适应平滑性条件。
Jun, 2023
本文讨论了数值优化算法在机器学习应用中的过去、现在和未来。通过文本分类和深度神经网络训练的案例研究,探讨优化问题在机器学习中的出现和挑战,强调了大规模机器学习环境下随机梯度方法的重要性和传统梯度优化方法的局限性。基于这种视角,提出一种简单,通用的随机梯度算法,并讨论其实际表现和改进机会。最后,针对大规模机器学习的下一代优化方法进行了探讨,包括降低随机方向噪声的技术和使用二阶导数近似的方法两大研究方向。
Jun, 2016
该论文介绍了发现更强大的激活函数和建立更稳健的神经网络权重初始化的技术,改进了 AutoML 的性能,提供了神经网络优化的新视角,使自动机器学习有了更进一步的发展。
Apr, 2023
深度学习中优化的关键问题是通过学习优化器来加速优化过程,但其稳定性、泛化性仍存在问题。本研究通过分析网络架构对优化轨迹和参数更新分布的影响,研究并对比手动设计和学习优化器的优缺点,提出了关键见解。
Dec, 2023
本文研究了交互式环境下如何基于学生当前状态,用一种新的模型进行自适应教学,提高版本空间学习者的学习效率和可理解性。通过有效算法和用户测试,验证了提出的模型相较于现有模型的多种优点。
Feb, 2018
本文提出了一种理论框架来设计和理解实用的元学习方法,该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习,为统计学习 - to-learn 的转移风险提供更加精确的界限,并在任务环境动态变化或任务共享一定几何结构的情况下,导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法,并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。
Jun, 2019
本文提出了一种高效的分布式随机优化方法,通过结合适应性与方差约减技术,从而实现任何串行在线学习算法的并行计算,能够在不需要光滑参数的先验知识的情况下实现最优收敛速率,同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。
Feb, 2018