该研究聚焦于解决大规模非凸双层优化问题中的两个主要挑战，即确保计算效率和提供理论保证，并通过引入一种创新的基于梯度的单循环算法、利用 Moreau 包络重构以及针对一般非凸双层优化问题提供的非渐进收敛分析，同时解决计算和理论挑战。该算法仅依赖一阶梯度信息，增强了其实用性和效率，特别适用于大规模双层优化学习任务，并通过在各种合成问题、两个典型超参数学习任务和一个真实的神经架构搜索应用上的实验证实了其卓越性能。

May, 2024

我们提出了一种名为 Moreau-Yoshida Variational Transport（MYVT）的新方法，用于解决正则化的分布优化问题，该方法包括优化、概率分布、正则化估计和生成建模以及原始 - 对偶算法。

Jul, 2023

该研究设计了一种利用凸差算法基于价值函数法的重要双层规划算法， 以解决与超参数选择相关的应用问题，提出了在满足弱凸度假设的情况下根据下层问题 Moreau envelope 的差分弱凸规划改进措施，并验证了其有效性。

Jun, 2023

介绍了一种名为 DyHPO 的灰箱超参数优化方法，它能够学习动态决定下一个尝试哪个配置和预算。通过 50 个数据集和各种神经网络的大规模实验，我们证明了 DyHPO 比最先进的超参数优化基线具有显着的优越性。

Feb, 2022

本文研究双层规划的理论分析，并提出了一种基于统一稳定性的期望边界解释验证集方面的一些神秘的行为。同时证明了正则化项可以缓解梯度算法过拟合问题。

Jun, 2021

本文介绍了一种新的损失函数，名为混合常规 - 威尔士（HOW），以及与 HOW 相关的一种新的稀疏诱导正则化项。我们从理论上证明了该正则化项是准凸的，其对应的 Moreau 包络是凸的。此外，我们推导出该 Moreau 包络（即接近算子）的闭式解。与需要通过迭代来寻找相应接近算子的 0<p<1 的 lp - 范数之类的非凸正则化项相比，我们开发的正则化项具有闭式接近算子。我们将该正则化项应用于鲁棒矩阵完成问题，并基于交替方向乘法算法开发了一种高效算法。对所提出方法的收敛性进行了分析，并证明了任何生成的累积点都是一个驻点。最后，基于人工合成和真实数据集的实验结果表明，我们的算法在恢复性能方面优于现有方法。

Oct, 2023

该研究提出了一个数学框架，基于双层规划，可以包含基于梯度的超参数优化和元学习。使用 Far-HO 软件包，可以优化学习率、自动权重单个样例的损失并学习超级表征。

Jun, 2018

本文提出一种新的随机优化原理，即使用 Blanchet 和 Glynn 的多级 Monte-Carlo 方法将任何最优随机梯度方法转换为 $x_*$ 的估计量，以此为基础获得了一种廉价且几乎无偏差的梯度估计器，可以应用于随机优化的多个领域，如随机优化，概率图形模型推理以及优化的机器学习等。

Jun, 2021

本文分析了左右 Bregman-Moreau 包络，提供了额外的渐近结果，补充了之前的研究成果。

May, 2017

本文研究了基于成本敏感的多保真贝叶斯优化算法用于高效的超参数优化问题，引入了用户预定义的效用函数来描述成本和性能之间的权衡，并提出了一种新的获取函数和停止准则以动态选择每个步骤的最佳配置，并最大程度地提高未来效用，同时自动终止优化过程，通过转移学习提高学习曲线外推方法的样本效率，能够捕捉不同配置之间的相关性，为多保真贝叶斯优化提供合理的代理函数，并在各种学习曲线数据集上验证算法，优于现有基线方法，实现更好的成本和性能的权衡。

May, 2024