利用广义图绘制实现更好的拉普拉斯表示在强化学习中

ICMLJul, 2021

利用广义图绘制实现更好的拉普拉斯表示在强化学习中

Towards Better Laplacian Representation in Reinforcement Learning with Generalized Graph Drawing

Kaixin Wang, Kuangqi Zhou, Qixin Zhang, Jie Shao, Bryan Hooi...

TL;DR该研究探讨了利用 Laplacian 矩阵对状态进行编码的问题，本文提出了一种新的学习方法，可以为大规模状态空间的强化学习任务提供高质量的 Laplacian 表示，从而产生更好的奖励塑形和探索性选择。

Abstract

The laplacian representation recently gains increasing attention for reinforcement learning as it provides succinct and informative representation for states, by taking the eigenvectors of the Laplacian matrix of

laplacian representation reinforcement learning state-transition graph spectral graph drawing reward shaping

发现论文，激发创造

适当的拉普拉斯表达式学习

我们介绍了一种用于近似拉普拉斯表示的理论上可靠的目标及相应的优化算法，通过消除先前逼近的超参数依赖性，我们能够自然地恢复真实特征向量和特征值。我们提供了我们方法的理论保证，并展示这些结果在多个环境中的鲁棒学习表现。

Oct, 2023

强化学习中的拉普拉斯算子：用高效近似学习表示

本文提出了一种全面通用且可扩展的方法，用于在模型自由强化学习 (model-free RL) 的情境下逼近图拉普拉斯算子的特征向量，结果表明我们的技术能够显著提高 RL 代理的性能，适用于目标实现 RL 任务等应用。

Oct, 2018

强化学习中考虑可达性的拉普拉斯表示

该研究论文介绍了一种基于 Laplacian Representation 并能够有效解决 inter-state reachability 问题的任务无关状态表示方法 RA-LapRep, 该方法能够显著提高 reward shaping 的性能以及帮助发现 bottleneck 状态。

Oct, 2022

基于深度拉普拉斯选项的时间扩展探索

本文提出一种基于图拉普拉斯算子的在线深度强化学习算法，用于生成探索选项，通过在基于像素的任务中的比较，证明了该算法的有效性、通用性和非静态环境下的优越性。

Jan, 2023

通过低秩非对称投影学习边缘表示

本文提出了一种新的无向图嵌入方法，通过建模节点的连边函数，并结合从随机游走中抽样的信息，对图的联通结构进行表达，从而提高了学到的嵌入空间的表现和空间效率。该方法在社交网络、蛋白质相互作用等数据集上均取得了较好的表现。

May, 2017

强化学习中表示的泛化

本研究探讨了强化学习中状态表示的泛化行为及具体的有效维度边界，并通过文献调研及案例分析验证了所提出的有效维度理论。

Mar, 2022

强化学习中的局部约束表达

本文提出一种局部约束表示法，通过对环境观测状态的预测及邻近状态的表示作为辅助损失，将强化学习中的表示与任务相分离，可以提高泛化能力，有效应用于连续控制任务中。

Sep, 2022

强化学习的动作表示学习

研究了在没有给定先验结构的情况下，如何基于状态表示和行为表示实现模型无关的强化学习方法，并提供了相应的算法和收敛条件。

Feb, 2019

强化学习中的选项发现拉普拉斯框架

本文介绍了如何通过引入特征奇异目的 (intrinsic reward functions) 从学习过后的 PVFs 中隐式定义选项来解决选项发现问题，从而在强化学习中同时解决了表示学习和选项发现两大难题。

Mar, 2017

表示抽象作为强化学习智能体的激励机制：一个机器人抓取的案例研究

选择适当的环境表示对于强化学习代理的决策过程并不总是直观的，本研究考察了不同状态表示对于激励代理解决机器人任务的影响，结果显示使用数字状态的强化学习代理与非学习基线表现相当，而使用经过预训练环境嵌入向量的图像表示的代理表现更好，推测任务特定的知识对于实现收敛和高成功率的机器人控制是必要的。

Sep, 2023