从机器学习的视角调查优化方法

Jun, 2019

A Survey of Optimization Methods from a Machine Learning Perspective

Shiliang Sun, Zehui Cao, Han Zhu, Jing Zhao

TL;DR本研究回顾了机器学习中优化方法的原则、进展和应用，总结了在一些流行的机器学习领域中优化方法的应用和发展，并提出了机器学习中优化的一些挑战和未解决的问题。

Abstract

machine learning develops rapidly, which has made many theoretical breakthroughs and is widely applied in various fields. Optimization, as an important part of machine learning, has attracted much attention of re

machine learning optimization methods data amount model complexity applications

发现论文，激发创造

大规模机器学习优化方法

本文讨论了数值优化算法在机器学习应用中的过去、现在和未来。通过文本分类和深度神经网络训练的案例研究，探讨优化问题在机器学习中的出现和挑战，强调了大规模机器学习环境下随机梯度方法的重要性和传统梯度优化方法的局限性。基于这种视角，提出一种简单，通用的随机梯度算法，并讨论其实际表现和改进机会。最后，针对大规模机器学习的下一代优化方法进行了探讨，包括降低随机方向噪声的技术和使用二阶导数近似的方法两大研究方向。

Jun, 2016

机器学习算法超参数优化：理论与实践

本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

Jul, 2020

端到端的约束优化学习：综述

本文从最近使用机器学习来解决约束优化问题的尝试入手，重点调查了将组合求解器和优化方法与机器学习架构集成的工作。这些方法有望开发新的混合机器学习和优化方法，以快速预测组合问题的近似解并启用结构逻辑推理。本文概述了这一新兴领域的最新进展。

Mar, 2021

机器学习在组合问题建模中的应用

该研究论文研究了机器学习在组合优化中的应用，特别是在建模方面，提出了使用机器学习技术来提高建模的效率和精确度，包括单个约束、目标函数或整个模型的学习。

Jul, 2018

组合优化的机器学习：方法论地全景

本文调查了机器学习和运筹学社区最近尝试利用机器学习解决组合优化问题的努力，并详细阐述了一种将机器学习和组合优化更进一步集成的方法论。

Nov, 2018

机器学习中的超参数搜索

本文介绍了机器学习领域中的超参数搜索问题，并从优化的角度讨论了其主要挑战。大多数通用的学习算法包含一组必须在训练开始前确定的超参数，其选择会对结果模型的性能产生重大影响，本文提出了一个有纪律、基于理论的搜索策略是至关重要的。