人口下降：基于自然选择的超参数调优框架
该研究提出了一种基于人口的进化随机梯度下降（ESGD）框架来优化深度神经网络，该框架将 SGD 和基于梯度的进化算法作为互补算法，以提高种群的平均适应度。
Oct, 2018
本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。
Jun, 2019
本研究提出了一种基于多样性的度量方法来改进遗传算法中的亲本选择，研究发现其在解决多目标优化中表现良好，并探讨出现停滞的原因和对策。
May, 2018
本文研究了在黑盒优化中通过引入 Monte Carlo Tree Search 方法和结合具备随机搜索功能和高斯过程的新下降方法等技术，以实现更快速的优化。实验结果表明，所提出的方法在各种有挑战性的基准问题上表现优越。
Nov, 2022
优化离散参数存在约束问题，我们使用带有温度的随机 S 型函数，并提出了新的自适应梯度方法 CONGA。通过一个个体群体来搜索最优解，每个个体根据 ' 环境 ' 的梯度变化，并由具有不同退火进程的两个温度参数来描述。未经适应的个体消亡，而最优个体繁殖，其结果是定向的进化动力学。我们利用著名的背包完全装配（0-1 KP）问题来说明所提出的方法。
Jan, 2024
将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低了测试误差。本教程解释了双重下降的概念及其机制，并引入了具有关键作用的归纳偏差，通过选择一种平滑的经验风险最小化器，从多个插值解决方案中选择一个。最后，第三部分探讨了两个线性模型中的双重下降，并从最近相关的工作提供了其他视角。
Mar, 2024
本文提出了一种名为自然进化策略（NES）的算法，它是一种比传统进化算法更为规范的黑盒优化方法。NES 在候选解集上维护一个参数化的分布，使用自然梯度来更新分布的参数，以求解更高预期的适应度值。本文介绍了一系列技术，解决了关于收敛、稳健性、样本复杂度、计算复杂度和对超参数的敏感性等问题。对于全局优化和高维空间搜索，从通用的多元正态分布到重尾和可分布的分布，本文探讨了 NES 系列的多种实现。实验结果显示，NES 表现良好，达到了各种标准基准测试的最佳性能。
Jun, 2011
本研究提出了一种逐步训练神经网络的方法，该方法通过将现有神经元分裂成多个比较小的单元，从而自适应地增长网络结构。该方法的优点在于其使用了一种名为函数最速下降法的思路来决定神经元裂变的最佳子集并进行最优更新。这种方法提供了一种新的高效优化神经网络结构的方法，特别适合在资源受限的环境下学习轻量级神经结构。
Oct, 2019
本文提出一种新颖的演化算法，结合可行解空间的探索和局部搜索，用于归纳分类树，以达到具有一般化能力的结构，其表现与最先进的方法相当，并适用于包含成千上万数据点的数据集。
May, 2023