本文介绍了更多 au 包络元策略学习（MEMRL）算法，其可以通过采用基于梯度的优化和包络正则化的组合来高效更新策略参数，以适应任务分布，该算法使用更多 au 包络代理正则化器来联合学​​习可调整到每个任务环境的元策略。最后，我们证明了 MEMRL 算法的有效性，并在多任务 2D 导航问题上进行了测试。

May, 2023

在多任务、异构和无模型的情况下，我们研究了学习线性二次调节器（LQR）的问题。我们表征了基于策略梯度的无模型元学习方法（MAML）（Finn et al.，2017）在不同任务异质性设置下的稳定性和个性化保证。我们展示了 MAML-LQR 方法在模型为基础和无模型设置下产生了一个接近每个任务特定最优控制器的稳定控制器，直到任务异质性偏差为止。此外，在模型为基础的设置中，我们展示了这个控制器以线性收敛速度实现，这在现有的 MAML-LQR 工作中改进了次线性速度。与现有的 MAML-LQR 结果相比，我们的理论保证证明了学到的控制器可以高效地适应未见的 LQR 任务。

Jan, 2024

本文提出了一种基于 Moreau 包络的增广 Lagrange 方法（MEAL）来解决具有非凸（弱凸）并且非光滑目标的线性约束问题，证明其收敛性，并提出两种实际变体 iMEAL 和 LiMEAL 以解决子问题无解析解且难以求解的约束问题。

Jan, 2021

本文对于一种学习控制策略进行了系统分析，该策略主要包括估计系统动态模型和应用轨迹优化算法来降低目标成本，我们提出了一种基于本地线性模型的算法，在重要的问题参数上获得了多项式的样本复杂度，并通过合成本地稳定增益，克服了问题时间影响的指数依赖性，我们的实验结果也验证了该算法的有效性并与自然深度学习基线进行了比较。

May, 2023

本研究探讨了 Model-agnostic Meta-learning (MAML) 在线性系统二次最优控制（LQR）中的局部收敛特性，同时保持动态系统的稳定性。通过简单的数值结果展示了 MAML 在 LQR 任务中的收敛性。

Sep, 2023

该研究提出了基于 Langevin Monte Carlo 的高效采样算法，针对由连续可微函数和非光滑函数组成的凸结合势函数进行采样。该算法利用了凸分析和优化方法中 Bregman 散度的最新进展，并将 Langevin Monte Carlo 算法延伸到与镜像下降相关的非光滑分布采样和 Bregman - Moreau 包络的更一般使用。

Jul, 2022

使用随机控制方法估计非凸函数的凸包问题，并基于此开发了强化学习方案来近似凸包，使用改进的 Q 学习方法进行控制性最优停止，在标准测试题库上取得了非常有希望的结果。

Nov, 2023

本文提出了一种分布式优化的交替方向乘子法 (ADMM) 的近似变体，通过使用 Moreau 包络函数的分析，证明了该方法可以在温和条件下收敛到一个稳定点，并且经过数值实验表明它比广泛使用的方法更快、更健壮。

Aug, 2023

我们开发了一种新的多目标强化学习（MORL）框架，以在传统的次 6GHz 频谱和太赫兹频率上运行的多频段车联网中共同优化无线网络选择和自主驾驶策略。该框架旨在通过控制车辆的运动动态（即速度和加速度）来最大化交通流量，最小化碰撞，并增强超可靠、低延迟的通信，同时最小化切换。我们将该问题视为多目标马尔科夫决策过程（MOMDP）并为冲突目标的预设和未知偏好开发解决方案。具体地，我们首先开发了基于深度 Q 网络和双深度 Q 网络的解决方案，通过使用预设偏好对运输和通信奖励进行标量化处理。然后，我们开发了一种新颖的信封 MORL 解决方案，该解决方案能够为代理器处理具有未知偏好的多目标提出策略。虽然这种方法减少了对标量奖励的依赖，但在不同的偏好下策略的有效性仍然是一个挑战。为了解决这个问题，我们应用了一种广义版本的贝尔曼方程，并优化多目标 Q 值的凸包来学习一个统一的参数表示，能够在所有可能的偏好配置下生成最优策略。在初始学习阶段之后，我们的代理器可以根据任何指定的偏好执行最优策略，或者从最少的数据样本中推断出偏好。数值结果验证了基于信封的 MORL 解决方案的有效性，并展示了车辆运动动态、切换和通信数据速率之间的相关性的有趣见解。所提出的策略使自动驾驶车辆能够采用安全驾驶行为，并具有改善的连接性。

May, 2024

本研究在考虑受环境噪音干扰的线性动态系统调节问题中，计算在线和离线控制策略的策略后悔。研究者在离线控制策略的优化上进行了全面的描述，并证明了离线线性策略的代价会随着时间增长而与在线策略的代价收敛，即使在噪声被选择的情况下。

Feb, 2020