ICLRJul, 2022

强化学习中的表示时间解耦以提高泛化能力

PDF
TL;DR通过引入时间分离（TED）作为强化学习辅助任务，可以更好地利用序列化 RL 观察结果，学习更健壮的表示形式，从而使 RL 算法对未知环境变量的变化更快地适应。
reinforcement learningimage-based learninggeneralisationtemporal disentanglementrepresentation learning
发现论文，激发创造
  • 强化学习中的分离表示条件互信息

    本研究提出了一种针对强化学习中存在相关特征的高维观察数据的辅助任务方法，通过最小化表示中特征的条件互信息来学习解缠缚表示，以提高对相关性变化的泛化能力。实验结果表明，该方法可以提高强化学习算法的训练性能和泛化能力。

    May, 2023

  • 增强学习中的引导式表示学习

    本文研究了强化学习中的状态表示问题，发现时序差分学习与蒙特卡罗、残差梯度学习在大部分环境的特征学习上存在差异，本文提出的新的辅助学习规则在经典环境下具有较好表现。

    Jun, 2023

  • 通过解耦环境和代理的表示实现高效强化学习

    提出了一种利用机器代理的视觉知识学习结构化表示的强化学习算法，并通过辅助损失函数将其融入强化学习目标，在包括 5 种不同机器人的 18 个具有挑战性的可视化仿真环境中，我们的方法比现有的无模型方法表现更好。

    Sep, 2023

  • 在强化学习中学习稀疏表示

    本文探讨强化学习算法中的 TD Learning 和基础节疤核在强化学习中的作用，使用计算机模拟来验证利用稀疏的联合表示来学习在特定环境下获得预期奖励的好处。

    Sep, 2019

  • 为数据高效强化学习学习具有时间一致性的表示

    本研究提出了一种名为 KSL 的新的表示学习方法，通过自我监督辅助任务，强制执行表示的时间一致性，其中代理程序学习以动作为条件的状态空间表示的经常性预测。KSL 学习到的状态编码器生成低维表示，可以使 RL 任务的优化更具样本效率，并在 PlaNet 基准测试套件中产生最先进的数据效率和渐近性能结果。

    Oct, 2021

  • 强化学习中的局部约束表达

    本文提出一种局部约束表示法，通过对环境观测状态的预测及邻近状态的表示作为辅助损失，将强化学习中的表示与任务相分离，可以提高泛化能力，有效应用于连续控制任务中。

    Sep, 2022

  • 强化学习中历史状态的时间对齐

    本文提出了一种基于自监督机制的方法 (TempAl)，通过自动化的历史状态表示，在 Reinforcement Learning 的非完全可观测环境中取得了比单独使用瞬时状态表示更好的结果，实验证明在 49 个 Atari 游戏中的 35 个游戏中取得了优异的成绩。

    Apr, 2022

  • 简化的时间一致增强学习

    本文展示了一种简单的表示学习方法：只依赖于通过潜在时间一致性训练的潜在动态模型，既可以在计划类的强化学习中使用，也可以在基于模型的强化学习中作为策略和价值函数特征使用。该方法在高维度任务上优于模型无关方法，并在样本效率上达到了模型类方法的水平。

    Jun, 2023

  • 从强化学习中分离表示学习

    该研究提出了一种从图像中训练深度强化学习模型的新方法，称为增强时序对比学习（ATC），该方法训练一个卷积编码器以用对比损失关联短时间差别的图像对，并成功应用于多个模拟实验中以实现代理在 RL 任务中更好的性能。

    Sep, 2020

  • 解缠（非）可控特征

    本文提出一种表示学习算法，该算法可以将隐含特征分解为可控和不可控两个部分，从而提高表示的可解释性并有效学习和规划。通过在三个不同的环境中展示该算法的分解性质，强调了该方法的优势。

    Oct, 2022