ICMLJun, 2024
细粒度的因果动力学学习与量化技术在增强学习中的鲁棒性改进
Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning
Inwoo Hwang, Yunhyeok Kwak, Suhyung Choi, Byoung-Tak Zhang, Sanghack Lee
TL;DR我们提出了一种新的动力学模型，通过推断细粒度的因果结构并用于预测，以改善强化学习中的鲁棒性。该模型通过将状态 - 动作空间离散化为子群，共同学习动力学模型和离散潜变量的关键点子，从而识别显示稀疏依赖性的有意义的上下文，并在训练中为每个子群学习因果结构。实验结果证明了我们的方法在未见状态和局部干扰相关性的下游任务中显示出的鲁棒性，以及与先前方法相比，基于子群和离散化方法在发现细粒度因果关系方面的有效性。