主动采样能减少离线强化学习中的因果混淆吗？

Dec, 2023

主动采样能减少离线强化学习中的因果混淆吗？

Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning?

Gunshi Gupta, Tim G. J. Rudner, Rowan Thomas McAllister, Adrien Gaidon, Yarin Gal

TL;DR通过选择适当的样本点从演示数据集中进行有选择性的采样，我们研究了离线增强学习中的因果混淆现象，并评估了主动采样技术在减少因果混淆方面的能力。我们提供了实证证据，证明随着训练的进展，均匀采样和主动采样技术能够持续减少因果混淆，并且主动采样要比均匀采样更高效地实现这一目标。

Abstract

causal confusion is a phenomenon where an agent learns a policy that reflects imperfect spurious correlations in the data. Such a policy may falsely appear to be optimal during training if most of the training da

causal confusion offline reinforcement learning spurious correlations active sampling techniques causal ambiguity

发现论文，激发创造

ReCCoVER：检测可解释强化学习中的因果混淆

本文提出了 ReCCoVER 算法，该算法可以在出现因果混淆的情况下增强深度强化学习智能体的透明度和可靠性，并为开发人员提供基于实际状态空间的特征选择建议。

Mar, 2022

借势中介器的悲观因果强化学习与混淆线下数据

通过采用基于前门准则的中介变量来消除混淆偏差，以及采用悲观原则来解决由候选策略引起的行为分布和生成观测数据的行为策略之间的分布偏移，我们提出了一种新颖的策略学习算法 PESsimistic CAusal Learning (PESCAL)，并证明了算法的理论保证，并利用来自一家领先乘车平台的离线数据集的仿真和真实世界实验证明了其有效性。

Mar, 2024

超越均匀采样：利用不平衡数据集的离线强化学习

离线策略学习旨在利用现有的轨迹数据集来学习决策策略，而无需收集额外数据。我们通过提出一种采样策略并将其作为标准离线强化学习算法的即插即用模块，从而解决了现有算法在完全优化数据集的情况下性能提升有限的问题。我们的评估表明，在 72 个不平衡数据集、D4RL 数据集以及三个不同离线强化学习算法中均取得了显著的性能改进。

Oct, 2023

因果作用感知的反事实数据增强

离线数据是教导机器人复杂行为的宝贵和实用资源。本文介绍了一种数据增广方法 CAIAC，可以在没有访问在线环境交互的情况下，从一个固定的数据集中创建可行的合成转换。通过利用量化因果影响的原则方法，我们能够通过在数据集中独立轨迹之间交换 “不受动作影响” 的状态空间部分来进行反事实推理。经验证明，这可以显著提高离线学习算法对分布偏移的鲁棒性。

May, 2024

利用观测和干预数据的因果强化学习

本文探讨了利用 Causal Inference 理论和 Latent-based causal transition model 在 offline data 的基础上，使用 observational data 可以有效地提高 model-based RL agents 的 generalization guarantees 问题。

Jun, 2021

深度强化学习中被动学习的困难

本文章研究了在没有积极的环境交互的情况下从观测数据学习行动的机制，并引入了 “tandem learning” 实验模型来帮助理解离线强化学习的挑战，并发现函数逼近与固定数据分布是离线深度强化学习中最强的因素，对离线深度强化学习提供了有价值的见解，同时也为在线控制学习中观察到的现象提供了新的解释。

Oct, 2021

去交织模仿学习的初始状态干预

模仿学习中的因果混淆问题及其遮蔽算法的应用。

Jul, 2023

非可识别隐藏混淆条件下的德尔菲离线强化学习

本文提出了解决 offline reinforcement learning 中的隐蔽性混杂效应问题的方法，借助与观察相容的世界模型的不同处理，提出了 delphic 不确定性问题，试图减少混杂偏差和提高 offline RL 算法的实际效果。

Jun, 2023

网络强化学习的因果性质

强化学习和因果建模在互补中相当自然地互相配合。本研究论文考察了哪些强化学习设置可以受益于因果建模，以及如何进行。

Mar, 2024

利用混淆和选择偏倚离线数据强化改进赌博算法：一种因果方法

在这篇论文中，我们研究了一个代理在在线学习阶段利用离线数据来提高每个动作奖励分布估计的困境。我们从因果结构的角度出发，将这个问题分为混淆偏差和选择偏差，并从有偏观测数据中提取鲁棒的因果边界。这些边界包含了真实的平均奖励，并能有效地指导代理学习几乎最优的决策策略。同时，我们进行了上下文和非上下文赌博机环境下的遗憾分析，并展示了先前的因果边界可以帮助持续减少渐近遗憾。

Dec, 2023