本文讨论了数值优化算法在机器学习应用中的过去、现在和未来。通过文本分类和深度神经网络训练的案例研究，探讨优化问题在机器学习中的出现和挑战，强调了大规模机器学习环境下随机梯度方法的重要性和传统梯度优化方法的局限性。基于这种视角，提出一种简单，通用的随机梯度算法，并讨论其实际表现和改进机会。最后，针对大规模机器学习的下一代优化方法进行了探讨，包括降低随机方向噪声的技术和使用二阶导数近似的方法两大研究方向。
Jun, 2016
本文提出了一种新的两阶段方法来解决在高密度无线合作网络中解决大规模凸最优化问题，其中原始的凸问题通过矩阵填充转化为标准锥编程形式，并采用交替方向乘子法（ADMM）求解。与二阶方法相比，ADMM 能够在合理的时间内并行地解决大规模问题。
Jun, 2015
该论文探讨了大约束情形下的机器学习系统，提出了一种随机惩罚形式来解决问题，并讨论了其与原问题之间的关系和各种数学保证。
Oct, 2018
研究了分布式方法在凸学习与优化中所需要的通信效率的根本限制，在不同信息假设和函数类型条件下找到了现有算法已达到最坏复杂度的情况，同时也指出了仍有改进的余地，说明了当本地目标函数没有相似之处时（由于统计数据相似或其他原因），即使设备具有无限计算能力，也可能需要多次通信往返。
本文比较分析了大数据背景下 K-means 算法的不同优化技术。通过并行化、逼近和采样方法等不同方法，探讨了克服大数据规模问题的不同途径。通过使用不同基准数据集评估了这些技术的性能，并根据 LIMA 支配准则在速度、聚类质量和可扩展性方面进行比较。结果表明，不同的技术适用于不同类型的数据集，并提供了关于 K-means 大数据聚类中速度和准确性之间权衡的见解。总体而言，本文为从业者和研究人员提供了如何优化大数据应用中的 K-means 的全面指南。
Oct, 2023
利用凸松弛技术提出了一个可以减少大规模数据上的推断算法运行时间的计算框架，同时保证推断的精度，为研究者提供了一个利用大数据优势的方法。
Nov, 2012
本文提出了一个基于分布式凸优化和随机化的算法框架和高性能实现，以实现基于核方法的统计模型的海量规模训练，以便有效地利用大数据。
Sep, 2014
本文旨在介绍凸优化及其相应算法，包括黑盒优化，结构优化，随机优化以及非欧几里德设置下的机器学习算法。
May, 2014
本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。
Dec, 2017
本文研究将优化视为一种过程，强调学习方法的应用，提倡使用鲁棒性的算法并学习实践经验以应对实际应用中复杂环境下的问题。
Sep, 2019