本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。
May, 2018
本文介绍了使用随机零阶查询优化高维凸函数的问题，提出了两种算法，并表明两种算法只依赖于问题的环境维度的对数收敛率。实证研究证明了理论发现，并表明我们设计的算法在高维场景中优于经典的零阶优化方法。
Oct, 2017
我们介绍了一种无需调整学习率的创新随机优化算法，用于在 Riemannian 流形上进行优化，消除了手动调整的需求并提供了更稳健和用户友好的方法。通过数值实验证实了我们的方法，表现出与依赖学习率的算法相竞争的性能，并建立了最优的高概率收敛性保证。
Jun, 2024
这篇研究论文提出了一种基于树搜索的无导数优化方法，借助机器学习模型逐步逼近全局最优解，有效解决高维复杂系统的优化问题，在各种基准函数上实现了高达 2000 维的全局最优收敛，比已有方法快 10 到 20 倍，具有广泛的应用性，可用于材料、物理和生物等领域，超越了现有算法，实现高效自主知识发现和虚拟实验室的自动化。
Apr, 2024
通过比较基于贝叶斯优化的算法，我们研究了在简单合成函数上训练的循环神经网络优化器的性能，发现这些训练后的优化器在不同的黑盒函数优化、超参数整定和全局优化基准测试中表现优异。
Nov, 2016
提出了一种利用深度生成模型进行优化的方法，通过周期性地在优化轨迹中重新训练生成模型并根据目标函数值加权来有效地提高样本效率和性能。
Jun, 2020
本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。
Jun, 2019
研究了 SGD 算法在高维参数空间下最简单在线版本的性能，通过对样本数量的阈值来确定参数估计的一致性，其阈值是多项式维度的，取决于信息指数。
Mar, 2020
基于 Hypersphere 上的球面多项式，无需预处理数据即可构建一次性逼近，并给出了相对 “粗糙” 函数的最佳逼近速率。
Feb, 2024
提出了一种新的高维随机优化方法，将坐标下降法推广到随机子空间，证明了使用自适应采样策略的随机子空间可以显著优于最近文献中常见的盲目采样方法，可以通过相关随机矩阵集合有效生成自适应子空间；在具有不同谱衰减的数据矩阵上验证了该方法在机器学习问题中的速度优势，包括逻辑回归、带随机卷积层的核分类和具有修正线性单元的浅神经网络。