通过超网络进行随机超参数优化
本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。
May, 2022
本文提出了一种自适应正则化超参数神经网络的方法，其中利用最优响应函数的紧凑逼近来适应正则化超参数，由于超参数是在线自适应的，因此可以发现优于固定超参数值的超参数调度，并且在大规模深度学习问题上超越了竞争的超参数优化方法。
Mar, 2019
本文中提出了一种基于箱限制数学优化问题的方法，运用光滑径向基函数模型及无导数优化工具去寻找神经网络的最佳参数。该方法是自动的且可有效地搜索参数空间，其应用于药物相互作用的预测中具有良好的效果，并且所用的优化工具是开源的。
May, 2017
梯度下降优化在机器学习的成功中起到了关键作用，本研究论文聚焦于嵌套优化问题，特别是超参数优化和生成对抗网络；然而，在大规模求解嵌套问题时，经典方法往往表现不佳，因此我们针对深度学习环境构建了可扩展的嵌套优化工具。
Jul, 2024
本文提出了一种基于代理的协作技术，以找到任意一组超参数（或决策变量）的近似最优值，其设计了分布式搜索操作的分层代理架构，使用基于自适应宽度的随机采样技术进行合作搜索，并在机器学习和全局函数优化应用中，通过与两种常用随机调整策略的比较得出，该模型在多维度和设备资源有限的情况下优于其他方法。
Mar, 2023
本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。
Sep, 2019
本文提出了深度度量学习用于探寻相似的数据集来作为输入神经网络的初始超参数，并通过 Bayesian 优化方法减少了超参数搜索的时间和计算量。
Oct, 2017
基于新的高斯过程模型和具有新内核函数的统一贝叶斯优化框架，通过一系列合成模拟和实际数据应用的神经网络，观察到更高的预测准确性和更好的优化效率，并执行敏感性分析以提供有关超参数值变化如何影响预测准确性的见解。
Jan, 2024
本文探讨使用一种网络 (称为超网络) 生成另一种网络 (称为主网络) 权重的超网络方法。超网络可应用于图像识别和序列建模任务，微调权重且性能相较于目前流行的基准模型更接近最佳效果。
Sep, 2016