元强化学习推理因果关系

Jan, 2019

Causal Reasoning from Meta-reinforcement Learning

Ishita Dasgupta, Jane Wang, Silvia Chiappa, Jovana Mitrovic, Pedro Ortega...

TL;DR研究通过元强化学习是否可以发现因果推理，在这项研究中，我们训练了一个递归神经网络对包含因果结构的一系列问题进行无模型强化学习，证明了该代理可以在新的情况下进行因果推理，从观测数据中得出因果推断结果以及进行反事实预测，我们提出这种学习方法也可以在复杂的推理场景中进行因果推理，同时该工作还提供了新的强化学习结构探索策略。

Abstract

Discovering and exploiting the causal structure in the environment is a crucial challenge for intelligent agents. Here we explore whether causal reasoning can emerge via meta-reinforcement learning. We train a recurrent network with →

causal reasoning meta-reinforcement learning model-free reinforcement learning observational data end-to-end learning

发现论文，激发创造

用于因果发现的元强化学习算法

本文中提出了一种利用元强化学习算法，通过学习干预变量的方法来进行因果发现并构建明确的因果图的方法，研究表明与现有最先进的方法相比表现出的结果更好，揭示了这种干预策略对于该方法性能的贡献。

Jul, 2022

因果透镜下的可解释强化学习

本文使用因果关系模型来推导强化学习器的行为的因果解释，并通过对一项实验的研究结果表明，基于因果模型的解释在任务预测、解释满意度和信任方面表现更好。

May, 2019

学做中：带因果感知策略的在线因果强化学习框架

通过引入因果图模型来显式建模状态生成过程，并通过主动干预学习环境，优化衍生目标，提出了一种在探索阶段使用干预进行因果结构学习，然后在开发阶段使用学习到的因果结构进行策略指导的框架。实验结果表明，我们的方法在因果指导的策略学习和因果结构学习的良性循环的推动下，在故障报警环境中有效且稳健，超越了最先进的基准方法。

Feb, 2024

因果好奇：强化学习智能体发现自我监督实验用于因果表征学习

本文提出了一种名为 causal curiosity 的新的内在奖励方法，通过将其融入强化学习代理中，使代理能够通过自己生成的实验数据，以更少的数据量进行自我监督学习，发现环境中的因果关系，并能够将其应用于更复杂的任务之中。

Oct, 2020

强化学习下的因果问答

本研究利用强化学习在 CauseNet 知识图谱上应用 Actor-Critic 方式，通过搜索图谱回答因果问题，并通过经验学习和算法改进降低搜索空间，结果表明与朴素的宽度优先搜索相比，每个二元因果问题访问不到 30 个节点，在路径上的边均有原始来源，可轻松验证。

Nov, 2023

运用变分因果推理泛化目标条件强化学习

利用 Causal Graph 加强了 Goal-Conditioned RL，提出了一种理论性能保证的优化框架，包括因果性发现、转换建模和策略训练的循环以提高 RL 代理的推理和泛化能力，并在九种任务上与五个基线进行了实证效果验证。

Jul, 2022

因果强化学习：一项调查

本文综述了因果强化学习的文献，介绍了其基本概念和如何应对非因果强化学习中的主要挑战，分类并系统地回顾了现有的因果强化学习方法，最后概述了该新兴领域的未解决问题和未来方向。

Jul, 2023

基于视觉模型的强化学习因果关系发现的系统评价

本文研究在机器学习中从观察数据中识别因果关系的问题，探讨如何帮助学习高级变量及其中的因果结构，并介绍了一套基于强化学习的环境用于测试表示学习算法的性能。研究表明，模型中显式地融合结构和模块化有助于因果识别。

Jul, 2021

提高强化学习健壮性的因果反事实

本研究提出 CausalCF，将因果推理与强化学习相结合，使得该模型在复杂任务上更加稳健，同时，实验表明 CausalCF 已经成为了第一个完整的能够将 Causal Curiosity 和 CoPhy 思想融入的因果强化学习解决方案。

Nov, 2022

反事实推理与学习系统

本文介绍如何利用因果推断来理解与环境交互并预测系统变更的后果，从而使人类和算法能够选择改变，以改善系统的短期和长期性能。作者还通过对 Bing 搜索引擎广告放置系统的实验来说明他们的方法。

Sep, 2012