基于图神经网络的符号关系深度强化学习

ICMLSep, 2020

基于图神经网络的符号关系深度强化学习

Symbolic Relational Deep Reinforcement Learning based on Graph Neural Networks

Jaromír Janisch, Tomáš Pevný, Viliam Lisý

TL;DR通过图神经网络和自回归策略分解，构建了一个深度强化学习框架，在多样化场景下表现出了出色的竞争能力和卓越的零 - shot 泛化能力.

Abstract

We focus on reinforcement learning (RL) in relational problems that are naturally defined in terms of objects, their relations, and manipulations. These problems are characterized by variable state and action spaces, and finding a fixed-length representation, required by most existing

reinforcement learning graph neural networks auto-regressive policy decomposition multi-parameter actions sokoban

发现论文，激发创造

关系深度强化学习

通过结构化感知和关系推理的方法，使用自我注意力来进行实体之间关系的迭代推理以及指导无模型策略的建立，提高了强化学习的效率、泛化能力和可解释性，并在 Box-World 任务和 StarCraft II Learning Environment 等方面取得了一定的进展。

Jun, 2018

符号问题上通用强化学习的关系抽象

本文介绍了一种新的强化学习方法，利用关系抽象和深度学习，学习符号状态空间中可推广的 Q 函数，并能在零阶转移下转移到不同的相关问题，实现对大规模问题的有效知识迁移。

Apr, 2022

基于关系强化学习实现实用的多物体操作

本文介绍了使用基于图形的关系结构从简单的任务中学习并实现复杂的机器人操作任务，使用了强化学习方法并在喂入少量数据的情况下超越现有的最先进方法，同时也实现了零样本泛化。

Dec, 2019

从奖励中学习关系规则

本文通过关系强化学习来理解认知系统如何选择在特定任务中有用的特征关系以及如何利用这些表达来有效地与环境交互。我们使用建立在 RRL 中开发的函数逼近器的简单模型来展示我们的方法的潜力，并在需要考虑日益增多的潜在关系的三个 Atari 游戏中进行了训练和测试。在每个游戏中，我们的模型能够选择适当的关系表达式，并逐步建立关系策略。我们探讨了本模型与关系和类比推理模型之间的关系，以及其限制和未来的研究方向。

Mar, 2022

带有目标关系图的层次化和部分可观察的目标驱动策略学习

本研究提出一种新型的基于两层分层强化学习的目标驱动任务解决方法，使用 Goals Relational Graph 优化部分可观察的目标导向任务，例如目标驱动视觉导航，实验结果显示该方法在新环境和新目标上表现出卓越的泛化性能。

Mar, 2021

深度可解释关系强化学习：神经符号方法

提出了一种新的框架 Deep Explainable Relational Reinforcement Learning (DERRL)，它结合了神经网络和符号世界的优势来提取可解释的策略。通过在倒计时游戏、积木世界、网格世界和交通等不同环境中的实验证明，DERRL 可以适用于不同的配置和情境，从而具有通用性。

Apr, 2023

利用线性关系网络进行组合多对象强化学习

本文提出一种基于关系归纳偏见的新型插入式模块，可使代理程序在学习固定的多对象设置中学习操作任务，并在输入对象数量改变时零样本泛化，解决了前人方法因其复杂度而无法泛化的问题。

Jan, 2022

一阶逻辑中的神经符号强化学习

为了在文本角色扮演游戏中实现快速收敛和可解释的知识表示，我们提出了一种新的基于逻辑神经网络的强化学习方法，该方法可以从文本观察中提取一阶逻辑事实并使用逻辑算子训练策略，实验结果表明该方法比其他基于神经元符号框架的方法更快收敛。

Oct, 2021

视觉关系与属性检测的深度变化结构强化学习

本研究提出了一种基于深度强化学习算法的新方法 VRL，能够更好地理解场景中物体之间的相互关系和属性，并在大规模数据集上验证其优越性和预测能力。

Mar, 2017

深度符号强化学习

该研究提出了一个神经和符号端到端强化学习架构，能够克服当前深度学习技术的局限性，如需要非常大的数据集工作、难以实现高级认知功能和透明性欠佳等。研究者以简单的视频游戏为例，展示了这个架构的实现原型，结果表明它能够有效地学习，并通过获得一组符号规则，可将性能提高到比传统完全神经强化学习系统更好的水平。

Sep, 2016