本文研究了在线性二次型调节器问题中寻找最优策略的强化学习方法，并在两个例子中说明了该方法的性能。

Nov, 2020

该研究桥接了基于模型和基于非模型策略梯度方法之间的差距，表明无模型的策略梯度方法全局收敛到最优解，并且在样本和计算复杂度方面效率很高。

Jan, 2018

本文对于一种学习控制策略进行了系统分析，该策略主要包括估计系统动态模型和应用轨迹优化算法来降低目标成本，我们提出了一种基于本地线性模型的算法，在重要的问题参数上获得了多项式的样本复杂度，并通过合成本地稳定增益，克服了问题时间影响的指数依赖性，我们的实验结果也验证了该算法的有效性并与自然深度学习基线进行了比较。

May, 2023

本文介绍了一种新的无模型算法，用于控制线性二次系统，利用 reduce 方法，将马尔科夫决策过程的控制问题转化为专家预测问题，该算法实现简单通用，拥有多项理论保证和良好的性能。

Apr, 2018

本文从深度强化学习的角度重新审视了折扣式情节马尔科夫决策过程（MDP）中政策梯度的估计偏差，重点讨论了状态分布漂移引起的偏差，提出了 3 种减少偏差的方法（小学习率；基于自适应学习率的优化器，KL 正则化），并在连续控制任务上展示了实验结果。

Jan, 2023

我们提出了一种新的分析方法，并区分了探索技术的两个不同影响。首先，它们使得能够平滑学习目标并消除局部最优解，同时保留全局最优解。其次，它们修改了梯度估计，增加了随机参数更新最终提供最优策略的概率。在这些影响的基础上，我们讨论并通过熵奖励进行了实证研究，突出了其局限性，并为该策略的设计和分析开辟了未来的研究方向。

Jan, 2024

该研究探讨了隐含式深度学习模型在处理未观测数据时的外推能力，通过对各种外推场景（超出分布、地理和时间变化）进行测试，我们的实验一致证明了隐含模型的显著性能优势。与非隐式模型相比，后者往往需要针对每个任务精心设计，而隐含模型展现出在处理未知数据时的鲁棒性，能够学习复杂的模型结构而无需任务特定的设计。

Jul, 2024

本研究针对非线性动态系统的控制问题，提出了一种通过最小化控制器损失和在任意系统中都能达到最佳实例速率的算法，该算法通过策略优化来实现优化实验设计，从而降低系统的参数不确定性。

Jun, 2023

本文研究如何通过模型驱动的增强学习方法促进任务转移，提出了基于动作条件的预测模型学习算法，用于机器人操作任务中的策略优化并在转移学习场景中取得了显著的学习速度提升。

Oct, 2019

本文提出了一种可扩展的分布式策略梯度方法，并证明其在多智能体线性二次网络系统中收敛于近似最优解。代理在指定网络内根据局部通信约束进行交互，即每个代理只能与有限数量的相邻代理交换信息。在网络的基础图上，每个代理在线性二次控制环境中根据附近邻居的状态实施其控制输入。我们表明只使用局部信息可以近似计算出精确的梯度。与集中式最优控制器相比，随着通信和控制范围的增加，性能差异指数级下降至零。我们还展示了如何增加通信范围来增强梯度下降过程中的系统稳定性，从而阐明了一个关键的权衡。仿真结果验证了我们的理论发现。

Mar, 2024