CORE: 基于强化学习的可扩展高效因果发现

Jan, 2024

CORE: 基于强化学习的可扩展高效因果发现

CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning

Andreas W.M. Sauter, Nicolò Botteghi, Erman Acar, Aske Plaat

TL;DR该研究提出了一种基于深度强化学习的 CORE 方法，用于因果发现和干预计划。CORE 能够从数据中顺序地重建因果图，并学习执行信息丰富的干预策略，其在结构估计准确性和样本效率方面优于现有方法，并且能够适应更大的图形结构。

Abstract

causal discovery is the challenging task of inferring causal structure from data. Motivated by Pearl's Causal Hierarchy (PCH), which tells us that passive observations alone are not enough to distinguish correlation from causation, there has been a recent push to incorporate interventi

causal discovery intervention planning reinforcement learning causal graphs structure estimation accuracy

发现论文，激发创造

用于因果发现的元强化学习算法

本文中提出了一种利用元强化学习算法，通过学习干预变量的方法来进行因果发现并构建明确的因果图的方法，研究表明与现有最先进的方法相比表现出的结果更好，揭示了这种干预策略对于该方法性能的贡献。

Jul, 2022

学做中：带因果感知策略的在线因果强化学习框架

通过引入因果图模型来显式建模状态生成过程，并通过主动干预学习环境，优化衍生目标，提出了一种在探索阶段使用干预进行因果结构学习，然后在开发阶段使用学习到的因果结构进行策略指导的框架。实验结果表明，我们的方法在因果指导的策略学习和因果结构学习的良性循环的推动下，在故障报警环境中有效且稳健，超越了最先进的基准方法。

Feb, 2024

基于因果推断的强化学习层次化结构发现

本论文提出了 CDHRL 框架，通过因果驱动探索而非随机驱动探索来构建高质量的分层结构，以提高分层强化学习的探索效率。实验表明，在 2D-Minecraft 和 Eden 两种复杂环境中，CDHRL 显著提高了探索效率。

Oct, 2022

基于排序的强化学习因果探索

本篇研究提出了一种新颖的基于强化学习 (RL) 的因果推断方法，通过将 RL 合并到基于排序的模式中，并通过一个编码器 - 解码器架构实现排序生成过程，并最终使用 RL 优化所提出的模型来处理生成的排序，以获得最终的因果图。在合成和真实数据集上的实验结果表明，所提出的方法比现有的 RL-based 方法具有更好的性能。

May, 2021

强化学习因果发现

使用强化学习和编码器 - 解码器模型进行因果发现，生成图中的邻接矩阵以计算奖励，结合预定义分数函数和惩罚项强制保持无环性，提高图搜索能力和灵活性。

Jun, 2019

基于视觉模型的强化学习因果关系发现的系统评价

本文研究在机器学习中从观察数据中识别因果关系的问题，探讨如何帮助学习高级变量及其中的因果结构，并介绍了一套基于强化学习的环境用于测试表示学习算法的性能。研究表明，模型中显式地融合结构和模块化有助于因果识别。

Jul, 2021

元强化学习推理因果关系

研究通过元强化学习是否可以发现因果推理，在这项研究中，我们训练了一个递归神经网络对包含因果结构的一系列问题进行无模型强化学习，证明了该代理可以在新的情况下进行因果推理，从观测数据中得出因果推断结果以及进行反事实预测，我们提出这种学习方法也可以在复杂的推理场景中进行因果推理，同时该工作还提供了新的强化学习结构探索策略。

Jan, 2019

利用观测和干预数据的因果强化学习

本文探讨了利用 Causal Inference 理论和 Latent-based causal transition model 在 offline data 的基础上，使用 observational data 可以有效地提高 model-based RL agents 的 generalization guarantees 问题。

Jun, 2021

因果强化学习：一项调查

本文综述了因果强化学习的文献，介绍了其基本概念和如何应对非因果强化学习中的主要挑战，分类并系统地回顾了现有的因果强化学习方法，最后概述了该新兴领域的未解决问题和未来方向。

Jul, 2023

强化学习效率提升的因果影响检测

本文研究如何通过对强化学习智能体在特定情况下的影响力进行测量，结合条件互信息将此度量值引入强化学习算法，提高机器人操作任务中的数据效率。

Jun, 2021