用于因果发现的元强化学习算法

Jul, 2022

A Meta-Reinforcement Learning Algorithm for Causal Discovery

Andreas Sauter, Erman Acar, Vincent François-Lavet

TL;DR本文中提出了一种利用元强化学习算法，通过学习干预变量的方法来进行因果发现并构建明确的因果图的方法，研究表明与现有最先进的方法相比表现出的结果更好，揭示了这种干预策略对于该方法性能的贡献。

Abstract

causal discovery is a major task with the utmost importance for machine learning since causal structures can enable models to go beyond pure correlation-based inference and significantly boost their performance. However, finding causal structures from data poses a significant challenge

causal discovery machine learning meta-reinforcement learning interventions causal graph

发现论文，激发创造

元强化学习推理因果关系

研究通过元强化学习是否可以发现因果推理，在这项研究中，我们训练了一个递归神经网络对包含因果结构的一系列问题进行无模型强化学习，证明了该代理可以在新的情况下进行因果推理，从观测数据中得出因果推断结果以及进行反事实预测，我们提出这种学习方法也可以在复杂的推理场景中进行因果推理，同时该工作还提供了新的强化学习结构探索策略。

Jan, 2019

适应性在线实验设计用于因果推断

在线学习中基于干预样本历史的分离图系统相匹配的追踪停止因果发现算法优于现有方法，通过较少的样本实现更高准确性的因果图学习。

May, 2024

基于视觉模型的强化学习因果关系发现的系统评价

本文研究在机器学习中从观察数据中识别因果关系的问题，探讨如何帮助学习高级变量及其中的因果结构，并介绍了一套基于强化学习的环境用于测试表示学习算法的性能。研究表明，模型中显式地融合结构和模块化有助于因果识别。

Jul, 2021

学做中：带因果感知策略的在线因果强化学习框架

通过引入因果图模型来显式建模状态生成过程，并通过主动干预学习环境，优化衍生目标，提出了一种在探索阶段使用干预进行因果结构学习，然后在开发阶段使用学习到的因果结构进行策略指导的框架。实验结果表明，我们的方法在因果指导的策略学习和因果结构学习的良性循环的推动下，在故障报警环境中有效且稳健，超越了最先进的基准方法。

Feb, 2024

基于排序的强化学习因果探索

本篇研究提出了一种新颖的基于强化学习 (RL) 的因果推断方法，通过将 RL 合并到基于排序的模式中，并通过一个编码器 - 解码器架构实现排序生成过程，并最终使用 RL 优化所提出的模型来处理生成的排序，以获得最终的因果图。在合成和真实数据集上的实验结果表明，所提出的方法比现有的 RL-based 方法具有更好的性能。

May, 2021

CORE: 基于强化学习的可扩展高效因果发现

该研究提出了一种基于深度强化学习的 CORE 方法，用于因果发现和干预计划。CORE 能够从数据中顺序地重建因果图，并学习执行信息丰富的干预策略，其在结构估计准确性和样本效率方面优于现有方法，并且能够适应更大的图形结构。

Jan, 2024

强化学习因果发现

使用强化学习和编码器 - 解码器模型进行因果发现，生成图中的邻接矩阵以计算奖励，结合预定义分数函数和惩罚项强制保持无环性，提高图搜索能力和灵活性。

Jun, 2019

面向干预中心因果推理的学习代理

使用元学习方法进行因果推断，通过深强化学习和元学习技术，可以在具有潜在因果结构的高维环境中，实现以干预为中心的因果推断。

May, 2020

非目标干预下的因果发现

该研究论文提出了一种基于随机干预的因果发现模型，通过最小化干预次数来解决因果发现问题，提供了多对数竞争比的近似算法，并给出了一些初步实验结果。

Feb, 2024

强化学习效率提升的因果影响检测

本文研究如何通过对强化学习智能体在特定情况下的影响力进行测量，结合条件互信息将此度量值引入强化学习算法，提高机器人操作任务中的数据效率。

Jun, 2021