提高强化学习健壮性的因果反事实

Nov, 2022

提高强化学习健壮性的因果反事实

Causal Counterfactuals for Improving the Robustness of Reinforcement Learning

Tom He, Jasmina Gajcin, Ivana Dusparic

TL;DR本研究提出 CausalCF，将因果推理与强化学习相结合，使得该模型在复杂任务上更加稳健，同时，实验表明 CausalCF 已经成为了第一个完整的能够将 Causal Curiosity 和 CoPhy 思想融入的因果强化学习解决方案。

Abstract

reinforcement learning (RL) is applied in a wide variety of fields. RL enables agents to learn tasks autonomously by interacting with the environment. The more critical the tasks are, the higher the demand for the robus

reinforcement learning causal inference causal mechanisms causalcf robustness

发现论文，激发创造

因果强化学习：一项调查

本文综述了因果强化学习的文献，介绍了其基本概念和如何应对非因果强化学习中的主要挑战，分类并系统地回顾了现有的因果强化学习方法，最后概述了该新兴领域的未解决问题和未来方向。

Jul, 2023

强化学习的反事实解释

通过重新定义反事实解释方法，结合强化学习的特点，探索在强化学习领域实现反事实解释的方法和研究方向。

Oct, 2022

基于反事实数据增强的高效强化学习

该研究提出一种数据效率的强化学习算法，利用结构因果模型来进行状态动态建模，从而实现反事实推理以及避免因数据不足带来的偏见问题。该算法对于少样本数据情况下的个体级政策学习有较好效果。

Dec, 2020

网络强化学习的因果性质

强化学习和因果建模在互补中相当自然地互相配合。本研究论文考察了哪些强化学习设置可以受益于因果建模，以及如何进行。

Mar, 2024

因果好奇：强化学习智能体发现自我监督实验用于因果表征学习

本文提出了一种名为 causal curiosity 的新的内在奖励方法，通过将其融入强化学习代理中，使代理能够通过自己生成的实验数据，以更少的数据量进行自我监督学习，发现环境中的因果关系，并能够将其应用于更复杂的任务之中。

Oct, 2020

因果强化学习调查

研究人员通过借鉴因果关系文献的见解，引入因果关系和强化学习，划分了现有 Causal Reinforcement Learning (CRL) 方法的两类，并分析了每一类的不同模型的形式化。

Feb, 2023

强化学习效率提升的因果影响检测

本文研究如何通过对强化学习智能体在特定情况下的影响力进行测量，结合条件互信息将此度量值引入强化学习算法，提高机器人操作任务中的数据效率。

Jun, 2021

学做中：带因果感知策略的在线因果强化学习框架

通过引入因果图模型来显式建模状态生成过程，并通过主动干预学习环境，优化衍生目标，提出了一种在探索阶段使用干预进行因果结构学习，然后在开发阶段使用学习到的因果结构进行策略指导的框架。实验结果表明，我们的方法在因果指导的策略学习和因果结构学习的良性循环的推动下，在故障报警环境中有效且稳健，超越了最先进的基准方法。

Feb, 2024

强化学习中的反事实解释策略

通过引入反事实解释，COUNTERPOL 框架能够分析强化学习政策，并找到引导所需结果的政策最小改变，展示其在设计和开发反事实政策方面的实用性。

Jul, 2023

因果透镜下的可解释强化学习

本文使用因果关系模型来推导强化学习器的行为的因果解释，并通过对一项实验的研究结果表明，基于因果模型的解释在任务预测、解释满意度和信任方面表现更好。

May, 2019