SINDy-RL: 可解释和高效的基于模型的强化学习

Mar, 2024

SINDy-RL: 可解释和高效的基于模型的强化学习

SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning

Nicholas Zolman, Urban Fasel, J. Nathan Kutz, Steven L. Brunton

TL;DR介绍了一种将稀疏字典学习和深度强化学习结合起来的 SINDy-RL 框架，用于创建高效、可解释和可信赖的动力学模型、奖励函数和控制策略，并通过在基准控制环境和复杂流体问题上的实验表明其有效性。

Abstract

deep reinforcement learning (DRL) has shown significant promise for uncovering sophisticated control policies that interact in environments with complicated dynamics, such as stabilizing the magnetohydrodynamics of a tokamak fusion reactor or minimizing the drag force exerted on an obj

deep reinforcement learning sparse dictionary learning sindy-rl dynamics model interpretable control policy

发现论文，激发创造

基于模型的 SINDy 强化学习

利用物理学领域的最新进展，提出一种新的方法来发现强化学习中物理系统的控制非线性动态，并证明此方法能够在很少的轨迹采样数量（仅需要一次 $≤30$ 时间步的轨迹）下发现此动态，从而为系统带来基于模型的强化学习的好处，并且不需要事先开发模型。该算法在四个控制问题上的实验表明，训练得到的基于控制系统真实动态的最优策略泛化能力强，且对于实际物理系统具有很好的性能表现。与现有的其他方法相比，该方法需要采样更少的真实物理系统轨迹。

Aug, 2022

结合神经网络和积分形式的鲁棒 SINDy 方法

通过利用神经网络的隐式表示方法，本研究提出了一种从嘈杂且有限的数据中发现非线性控制方程的鲁棒方法，并利用自动微分工具获得 SINDy 所需的导数信息，同时引入多个初始条件的数据处理方法。通过多个实例的对比实验，证明了该方法在嘈杂且有限的数据情况下发现控制方程的有效性。

Sep, 2023

SDRL：利用符号计划的可解释且数据高效的深度强化学习

该研究提出了一种符号深度强化学习（SDRL）框架，该框架通过引入符号规划来实现任务层面的可解释性，并运用计划器 - 控制器 - 元控制器架构进行子任务调度、数据驱动子任务学习和子任务评估，实现与长期规划能力、符号知识以及直接从高维感官输入进行端到端强化学习的优点相结合，并在实验结果中证实了子任务可解释性与与现有技术相比的数据效率改进。

Oct, 2018

利用嵌套神经网络推广 SINDy 方法

Symbolic Regression（记号回归）是一个广泛研究的领域，旨在通过数据推断出记号表达式。本研究介绍了一种增强方法，名为 Nested SINDy，旨在通过引入嵌套结构来增加 SINDy 方法的表达能力。Nested SINDy 通过在核心 SINDy 层之前和之后引入附加层，能够对更广泛的系统进行符号表示。我们的研究结果突出了 Nested SINDy 在符号回归方面的潜力，超越传统的 SINDy 方法在表达能力上。然而，我们也注意到了 Nested SINDy 在优化过程中的挑战，并建议未来的研究方向，包括设计更稳健的优化方法论。本研究证明 Nested SINDy 能够有效地从数据中发现动态系统的符号表示，为通过数据驱动方法理解复杂系统提供了新机遇。

Apr, 2024

SINDy 与硬非线性和隐藏动力学之间的基准研究

我们分析了 Sparse Identification of Nonlinear Dynamics (SINDy) 技术在三个非线性识别基准数据集上的有效性，以更好地了解其适用性，当解决真实动力系统时。虽然 SINDy 是一种追求基于物理的学习的吸引人策略，但我们的分析强调了处理未观测状态和非光滑动力学的困难。由于这些特征在一般的真实系统以及控制应用中无处不在，我们通过实践方法来解决这些问题，以便在这些具有挑战性的环境中利用 SINDy。

Mar, 2024

超逆向追踪：非线性随机控制方程的深度生成建模

HyperSINDy 通过稀疏非线性动力学的识别、随机动力学的建模、变分编码器、不确定性量化等方面的进展，提供了一个有前途的框架，用于在实际系统中进行模型发现和不确定性量化。

Oct, 2023

随机动态方程的稀疏学习

本文介绍了将稀疏识别非线性动力学 (SINDy) 框架扩展到随机动力学系统的方法，并证明了在无限数据限制下该方法的渐近正确性，在两个测试系统中展示了该方法的实现，并强调了交叉验证对确定正确的稀疏性水平是一个必不可少的工具。

Dec, 2017

SINDYc 的稀疏非线性动力学识别

使用回归方法推断非线性动力系统，能够包括外部输入和反馈控制。

May, 2016

深度强化学习驱动调度的可解释建模

通过使用可解释性强的决策树模型，我们提出了一个名为 IRL（可解释增强学习）的框架，用于解决深度强化学习在集群调度中缺乏可解释性的问题，并且证明了 IRL 可以在保持相似调度性能的同时将黑盒深度神经网络策略转化为可解释的基于规则的决策树。

Mar, 2024

使用深度强化学习控制混沌系统

本文利用基于模型的强化学习算法，结合深度神经网络，针对一维 Kuramoto-Sivashinsky 方程描述的非线性混沌系统进行控制，通过局部测量得到的限制性传感器数据指引控制策略，实现了混沌状态下目标状态的稳定控制，并有望在复杂的液体系统控制领域中得到广泛应用。

Jun, 2019