研究无导数优化高维函数的方法，提出一种基于在线学习的方法，同时学习流形和优化函数，能够显著降低样本复杂性，经过实验证明有效性高于其他无导数优化算法。

Apr, 2020

该论文提出了一种算法，该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数，使用随机梯度下降进行优化，实验结果表明，该算法相比贪心算法在分类任务的表现优秀。

Nov, 2015

本文提出一种基于分类器的算法，利用 $n$ 批函数值测量来实现最小化函数，具有线性收敛率，与主动学习子级集的难度有关。该方法不需要微分，无需调整，且在批量函数查询时始终优于其他方法。

Apr, 2018

该论文提出了一种基于 Monte Carlo 方法的优化器搜索框架，通过将优化器的空间重组为超级树来搜索，提高了任务相关样本的搜索效率及其可扩展性，克服了先前方法在可扩展性，生成性或样本效率等方面的限制，并在多个任务领域表现优异。

Sep, 2022

优化决策系统的许多方法依赖于基于梯度的方法，然而在缺乏信息或反馈不明确的情况下，这些方法可能导致性能不佳。为了解决高维复杂决策系统中的挑战，我们提出了一个紧凑的多层架构模型来建模角色之间的互动，同时引入了 Hessian-aware Bayesian Optimization 以高效优化参数化了大量参数的多层架构。实验证明，我们的方法（HA-GP-UCB）在资源限制和反馈错误设置下能够有效工作。

Aug, 2023

通过提出一种决策树优化框架，解决了当前领域中两个开放性问题：不平衡数据处理和连续变量完全优化。此外，我们还介绍了一种可扩展的算法，可以在存在连续变量的情况下产生可证明的最优结果，并相对于现有技术将决策树构建速度提高了数个数量级。

Jun, 2020

提出差分可伸展树（DST）模型，基于学习知识网络将离散化化学结构转化为局部可微分的结构，并通过图神经网络（GNN）反向传播导数，实现了化学图结构的基于梯度的优化，且优化结果具有有效性和样本效率，并且学习到的图形参数可以提供有助于领域专家理解模型输出的解释。

Sep, 2021

我们提出应用几种梯度估计技术，以实现在高能物理中对具有离散随机性的程序进行微分。这样的程序在高能物理中很常见，因为存在分支过程和基于聚类的分析。因此，对这种程序进行微分可以为基于梯度的优化在探测器设计优化、模拟器调整或数据分析和重建优化方面开辟道路。我们讨论了几种可能的梯度估计策略，包括最近的随机自动微分方法，并在简化的探测器设计实验中进行了比较。在此过程中，据我们所知，我们首次开发出完全可微的分支程序。

Aug, 2023

用采样方法改进蒙特卡洛树搜索来实现全局非凸函数优化，避免传统分区树方法在高维情况下指数级增长的树规模，通过利用数值上估计的目标不确定性指标、采样估计的一阶和二阶信息，并且避免传统固定组合模式，快速高效地发现有潜力的区域，有效平衡探索与开发。在高维非凸优化测试中与其他方法进行了对比，并分析了超参数的影响。

Jan, 2024

本文提出了一种基于蒙特卡罗树搜索和无梯度优化的策略优化方法，称为 MCTSPO，通过使用上界置信度启发式获得更好的探索 - 利用平衡，相对于基于梯度和深度遗传算法的基准，在具有欺骗性或稀疏奖励函数的强化学习任务中表现更佳。

Dec, 2019