Jul, 2022

运用变分因果推理泛化目标条件强化学习

PDF
TL;DR利用 Causal Graph 加强了 Goal-Conditioned RL，提出了一种理论性能保证的优化框架，包括因果性发现、转换建模和策略训练的循环以提高 RL 代理的推理和泛化能力，并在九种任务上与五个基线进行了实证效果验证。
发现论文，激发创造
  • 元强化学习推理因果关系

    研究通过元强化学习是否可以发现因果推理，在这项研究中，我们训练了一个递归神经网络对包含因果结构的一系列问题进行无模型强化学习，证明了该代理可以在新的情况下进行因果推理，从观测数据中得出因果推断结果以及进行反事实预测，我们提出这种学习方法也可以在复杂的推理场景中进行因果推理，同时该工作还提供了新的强化学习结构探索策略。

    Jan, 2019

  • 目标导向强化学习：问题与解决方案

    本文综述了目标条件强化学习的挑战、算法、目标表示以及未来研究方向。

    Jan, 2022

  • 从视觉观察推断目标指向任务的因果关系

    本文提出了一种利用有向无环图产生因果知识，辅助人工智能完成目标驱动任务的方法，并通过实验证明该方法可以有效地推广到在先前未见的具有新的因果结构的环境下完成新任务。

    Oct, 2019

  • 因果推理遇见视觉表征学习：一项前瞻性研究

    本文综述了现有的因果推理方法在视觉表征学习中的应用，探讨了当前方法和数据集的限制，并提出了因果推理算法基准的前景挑战、机会和未来研究方向，以更有效地实现可靠的视觉表征学习及相关应用。

    Apr, 2022

  • 以变分授权为代表学习目标导向的强化学习

    通过代表愿景达成的功能感知状态表示进行的变分互信息最大化，能够为达到愿景状态的广泛应用的多任务策略的自监督强化学习提供框架和方法，同时还提出了广义 GCRL 和 MI-Based RL 的统一方法，即 VGCRL，并结合方法的容量和光滑性分析了能力扩展，以及其与不同线性变换结构的潜在目标发现算法的比较评价指标，即 LGR。

    Jun, 2021

  • 基于视觉模型的强化学习因果关系发现的系统评价

    本文研究在机器学习中从观察数据中识别因果关系的问题，探讨如何帮助学习高级变量及其中的因果结构，并介绍了一套基于强化学习的环境用于测试表示学习算法的性能。研究表明，模型中显式地融合结构和模块化有助于因果识别。

    Jul, 2021

  • 对比学习作为目标条件强化学习

    本文提出了基于对比学习的强化学习算法，通过学习动作标记的轨迹对比学习来直接获得好的表示，并成功地将其应用于目标条件 RL 任务。在一系列任务中，对比 RL 方法表现更好，且不需要使用数据增强或辅助目标。

    Jun, 2022

  • 离散阶乘表示作为目标条件强化学习的抽象

    提出了一种称为 DGRL 的方法，该方法通过学习目标的阶乘表示，并通过离散化瓶颈进行处理，以更粗略的目标规范来解决在噪声和高维度输入空间中定义目标的挑战；实验证明应用离散化瓶颈可以提高目标条件下的 RL 设置的性能。

    Nov, 2022

  • 基于解离式可达性规划的目标驱动强化学习

    我们提出了一种基于目标条件的强化学习算法，结合了解缠绕的可达性规划（REPlan），用于解决时间延展任务，在模拟和真实世界任务中，REPlan 显著优于之前最先进的方法。

    Jul, 2023

  • 提高强化学习健壮性的因果反事实

    本研究提出 CausalCF，将因果推理与强化学习相结合，使得该模型在复杂任务上更加稳健，同时，实验表明 CausalCF 已经成为了第一个完整的能够将 Causal Curiosity 和 CoPhy 思想融入的因果强化学习解决方案。

    Nov, 2022