复杂环境中功能实际原因的自动发现

Apr, 2024

复杂环境中功能实际原因的自动发现

Automated Discovery of Functional Actual Causes in Complex Environments

Caleb Chuck, Sankaran Vaidyanathan, Stephen Giguere, Amy Zhang, David Jensen...

TL;DR通过使用功能实际因果 (FAC) 和联合优化实际因果推断 (JACI) 算法，本研究在复杂连续数值环境中展示了 FAC 与实际因果文献中已知结果的一致性，并且 JACI 在识别实际原因的准确性上明显优于现有的启发式方法。

Abstract

reinforcement learning (RL) algorithms often struggle to learn policies that generalize to novel situations due to issues such as causal confusion, overfitting to irrelevant factors, and failure to isolate control of state factors. These issues stem from a common source: a failure to a

reinforcement learning causal relationships actual cause functional actual cause joint optimization for actual cause inference

发现论文，激发创造

学做中：带因果感知策略的在线因果强化学习框架

通过引入因果图模型来显式建模状态生成过程，并通过主动干预学习环境，优化衍生目标，提出了一种在探索阶段使用干预进行因果结构学习，然后在开发阶段使用学习到的因果结构进行策略指导的框架。实验结果表明，我们的方法在因果指导的策略学习和因果结构学习的良性循环的推动下，在故障报警环境中有效且稳健，超越了最先进的基准方法。

Feb, 2024

提高强化学习健壮性的因果反事实

本研究提出 CausalCF，将因果推理与强化学习相结合，使得该模型在复杂任务上更加稳健，同时，实验表明 CausalCF 已经成为了第一个完整的能够将 Causal Curiosity 和 CoPhy 思想融入的因果强化学习解决方案。

Nov, 2022

基于视觉模型的强化学习因果关系发现的系统评价

本文研究在机器学习中从观察数据中识别因果关系的问题，探讨如何帮助学习高级变量及其中的因果结构，并介绍了一套基于强化学习的环境用于测试表示学习算法的性能。研究表明，模型中显式地融合结构和模块化有助于因果识别。

Jul, 2021

强化学习效率提升的因果影响检测

本文研究如何通过对强化学习智能体在特定情况下的影响力进行测量，结合条件互信息将此度量值引入强化学习算法，提高机器人操作任务中的数据效率。

Jun, 2021

使用实际因果的道德强化学习

提出了一种基于因果道德的在线强化学习方法，并给出了应用该方法解决道德困境的案例，该方法可以使代理程序在学习决策时考虑是否造成伤害，更好地符合我们的道德判断。