通过解偏微分方程生成新的势函数，得到一种新的算法，该算法的任何时候的失误上限达到了最佳损失后悔权衡，且避免了不实用的加倍技巧。

Jan, 2022

本研究采用了训练技巧来改善 L2O 模型的实际表现。我们提出了一种渐进式训练方案来缓解 L2O 模型中截断偏差和梯度爆炸之间的困境，并利用离策略模仿学习来引导 L2O 学习。结果表明，即使是最简单的 L2O 模型也可以通过这种改进的训练技巧在许多任务上胜过最新的复杂 L2O 模型。

Oct, 2020

本文将 learning to learn（L2L）框架扩展到零阶（ZO）优化设置，其中没有明确的梯度信息，并将学习的优化器建模为循环神经网络（RNN），通过 ZO 梯度估算器近似梯度，并利用以前迭代的知识产生参数更新，进一步引入另一个 RNN 来学习高斯采样规则并动态指导查询方向采样。我们的学习优化器在合成和实际 ZO 优化任务中表现出优异的收敛率和最终解决方案，特别是在 Black-box Adversarial Attack 任务中。

Oct, 2019

我们开发了一种名为 OLP-GNN 的图神经网络，通过在 1 到 2 毫秒的时间预算内计算最优线性前编码器以实现最小下行用户数据速率的最大化，该方法在不同 AP 和 UE 数量以及不同的可见光和非可见光射频传播环境下实现了接近最优的频谱效率。

Jun, 2024

论文提出了一种在线深度学习框架，使用新提出的 Hedge Backpropagation 方法，实现了对来自稳态和概念漂移情况下的大规模数据集进行自适应深度的 DNN 模型学习。

Nov, 2017

本文提出了一种新的机器学习优化器 LODO，它将学习优化 (L2O) 技术与拟牛顿方法相结合，用于学习对称矩阵向量积的神经表示，从而适应于在测试任务中遍历的损失景观的局部特征。与其他 L2O 方法不同的是，我们的方法不需要在训练任务分布上进行任何元训练，并验证了其在噪声中的表现，并证明其能够表示一种广泛的逆 Hessian。实验表明，简单的替代方法会导致性能变差。最后，我们使用我们的优化器训练一个拥有 95k 参数的半真实深度神经网络，并获得了与标准神经网络优化器竞争的结果。

Oct, 2022

本文提出了一种基于数学原理的 L2O 模型，通过数值模拟验证了该模型的理论发现并展示了其超越普通 L2O 模型的优越性。

May, 2023

机器学习中的消息传递图神经网络（MPNNs）可以模拟线性优化问题和组合优化问题，提高解决难解优化问题的效率。

Oct, 2023

此研究提出了一种基于全局和局部线性松弛的可扩展启发式方法，用于对训练后的神经网络模型进行建模和求解，具有与最先进的整数线性规划（MILP）求解器和之前的启发式方法相竞争，并且在输入、深度和神经元数量增加时能够产生更好的解。

Jan, 2024

本文介绍了 $(ext {FG})^2 ext {U}$，一种解决大规模双层优化问题的新方法，该方法通过无偏随机近似元梯度来提供更准确的梯度估计，并且支持并行计算以提高计算效率。$(ext {FG})^2 ext {U}$ 在不同阶段的训练过程中可以更加经济高效地应用，且易于在流行的深度学习框架中实现，可适应更具挑战性的零阶双层优化场景。经过全面的理论分析和实证评价，并展示了在多样的大规模双层优化任务中其卓越的性能。

Jun, 2024