介绍了优化机器学习问题的几种新方法，包括针对有限和图结构目标的优化方法，其中包括针对固定结构的参数学习、结构学习和同时学习等方法。

Oct, 2015

本文提出了优化采样函数的新框架optimization from samples(OPS)，并证明了在特定条件下，仍然存在一类函数无法进行有效的优化，但对于一些子模函数，仍然可以进行有效的近似。

Dec, 2015

该论文研究了如何将随机梯度下降等连续优化算法应用到离散问题中的子模优化，通过将扩展线性化处理并通过向上投影处理，得到离散解，针对加权覆盖函数进行研究，实验表明，该方法在保证最优近似率的同时，大幅降低了计算成本。

Nov, 2017

此文讨论了优化算法与蒙特卡罗采样算法之间的关系以及在非凸优化函数中，采样算法的计算复杂度与模型维度呈线性关系而优化算法的计算复杂度呈指数关系。

Nov, 2018

本文介绍了贝叶斯优化的方法，通过建模替代函数和最大化收购功能来确定下一步查询的位置，同时考虑三种流行的收购功能的局部优化器的性能分析，并引入允许本地优化方法从多个不同的起始条件开始的分析，数值实验证实了我们的理论分析的有效性。

Jan, 2019

通过使用多输出高斯过程模型和预期改善在经过修改的非高斯正则先验上进行采样（EI）的有效最大化，本研究提出了一种新方法来优化复合目标函数，该复合目标函数是将一个高昂的黑盒子类函数h(x)的向量输出g(h(x))函数与一个廉价函数g(x)组合而成。实验结果显示，该方法可以减少简单遗憾值数个数量级，比标准贝叶斯优化方法显着优越。

Jun, 2019

该论文研究贝叶斯学习中常见的最大后验估计和后验分布采样的计算任务，证明在非凸情况下后验分布采样有时比优化更快，并展示两者在计算复杂性上的不可比较性，呈现出计算复杂度的急剧相变。

Nov, 2019

本研究主要研究在嘈杂观测下，在图上定义“爬山友好型”函数的样本复杂度。作者提出了一个凸性的概念，利用最佳臂识别的变种，可以在少量查询后找到近似最优解。对于具有局部极值并且接近凸性的函数，作者证明了在噪声观测下经典模拟退火的样本复杂度。作者在图基邻近分类和文档重新排序应用问题上，展示了贪心算法和带重启的模拟退火的有效性。

Jun, 2020

我们提出了一种新的贝叶斯优化框架，通过学习适当的图核心，我们的框架具有适应目标函数行为的优点，本地建模方法进一步保证了我们方法的效率。

Jun, 2023

本研究解决了最小二乘逼近中随机样本取样的优化问题。通过引入Christoffel函数，该研究提出了一种新的取样策略，能够在样本复杂度方面接近最优，并探讨了其在不同应用中的推广。研究表明，即使在更广泛的背景下，Christoffel函数仍然能够有效确定样本复杂度，提供了改进取样策略的统一方法。

Sep, 2024