Jun, 2020

使用神经常微分方程的基于模型的半马尔科夫决策过程强化学习

PDF
TL;DR本论文介绍了两种用于半 Markov 决策过程的新型模型强化学习框架中，用神经常微分方程建模连续时间动力学的优雅解决方案。我们的模型准确地表征了连续时间动态，使我们能够使用少量数据开发出高效的策略。同时，我们还开发了一种基于模型的方法用于优化时间表，以减少与环境的交互频率，同时保持近乎最优的性能。我们通过各种连续时间领域的实验，证明了我们方法的有效性。
model-based reinforcement learning (rl)semi-markov decision processes (smdps)neural ordinary differential equations (odes)time schedules optimizationcontinuous-time domains
发现论文，激发创造
  • 基于 ODE 的无模型循环强化学习在 POMDP 中的应用

    通过结合神经常微分方程和无模型强化学习，我们提出了一种新颖的基于 ODE 的循环模型用于解决部分可观察的马尔可夫决策过程，通过模型推断从历史过渡中提取不可观测的动态相关信息，并通过多个实验验证了方法的有效性和鲁棒性，尤其在处理不规则采样的时间序列方面。

    Sep, 2023

  • 连续时间模型驱动强化学习中的高效探索

    我们介绍了一个基于模型的强化学习算法，使用非线性常微分方程来表示连续时间动力学。我们使用校准良好的概率模型捕捉认识不确定性，并利用乐观原则进行探索。我们的分析表明，在连续时间下，测量选择策略 (MSS) 的重要性显现出来，因为我们不仅需要决定如何进行探索，还要决定何时观察底层系统。当使用高斯过程 (GP) 对常见的 MSS 选择（如等距采样）建模 ODEs 时，我们的后悔界限是次线性的。此外，我们提出了一种自适应的、数据依赖的实际 MSS，当与 GP 动力学相结合时，也能够在明显更少的样本下达到次线性的后悔。在几个应用上，我们展示了连续时间建模相对于离散时间建模的优势，以及我们提出的自适应 MSS 相对于标准基线的优势。

    Oct, 2023

  • 基于深度强化学习的 POMDP 推断和鲁棒解决方案：铁路最优维护应用

    本文提出一个结合推断和强化学习的框架，通过深度强化学习对 POMDP 问题进行鲁棒解决。通过 Markov Chain Monte Carlo 抽样来联合推断出所有的转换和观察模型参数，并将参数分布通过域随机化融入到模型不确定性的解决中，解决该方法适用于铁路资产维护规划等实际问题。

    Jul, 2023

  • 神经跳跃常微分方程：一致连续时间预测和滤波

    介绍了一种新的数据驱动方法 ——Neural Jump ODE (NJ-ODE), 该模型模拟了连续时间下的随机过程。该模型使用神经 ODE 模型建模两个观察值之间的条件期望，并在每次发现新的观察值时进行跳跃。实验结果表明该模型对于更复杂的学习任务优于现有的基准模型。

    Jun, 2020

  • 从 t-SNE 到 SEMI-MDPs 的动态可视化

    本文介绍了一种新的方法，可以自动地发现 Deep Q 网络的内部 Semi Markov Decision Process（SMDP）模型，并通过一个有向图以及 t-SNE 可视化方法呈现 SMDP 模型，展示了代理策略的解释及 Deep Q 网络自动学习的分层状态聚合的证据。

    Jun, 2016

  • 用神经微分方程学习神经网络连续学习规则的编程

    本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

    Jun, 2022

  • 一种用于连续非马尔可夫随机控制问题的神经 RDE 方法

    提出一种基于神经粗糙微分方程的新框架，用于解决非马尔可夫随机控制问题，通过演示控制过程作为神经粗糙微分方程的解的模型来展示控制 - 状态联合动力学如何通过一个未受控的增量神经粗糙微分方程进行管理，同时通过演示神经粗糙微分方程是随机不平滑路径函数的通用近似器来提供理论支撑，实验结果显示，这种方法比现有的基于 RNN 的方法在不规则采样下具有更高的精度和稳定性。

    Jun, 2023

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 连续时间 MDP 的 Omega 正则规范的强化学习

    探究离散时间 Markov 决策过程的自动翻译问题，提出了一种能够实现正确翻译为标量奖励信号的算法。该算法适用于 omega 正则语言对时态较为严格的情况，并使用了最新的基于转义的自动翻译技术。

    Mar, 2023

  • 部分可观察马尔可夫决策过程中的动态深度强化学习算法

    通过将动作序列纳入来解决部分可观察马尔可夫决策过程，本研究提出了几种结构和方法来扩展最新的深度强化学习算法与 LSTM 网络，结果显示这些算法提升了控制器对不同类型外部干扰的鲁棒性。

    Jul, 2023