三维环境下的子等变图强化学习

ICMLMay, 2023

Subequivariant Graph Reinforcement Learning in 3D Environments

Runfa Chen, Jiaqi Han, Fuchun Sun, Wenbing Huang

TL;DR本文提出了一种新型的 3D-SGRL 体系结构，引入 Subequivariant Transformer (SET) 及几何对称性，用于广义物体的 RL 训练；在单任务、多任务和零样本泛化情形中验证过程证明了算法比现有方法更具实用性。

Abstract

Learning a shared policy that guides the locomotion of different agents is of core interest in reinforcement learning (RL), which leads to the study of morphology-agnostic RL. However, existing benchmarks are hig

reinforcement learning morphology-agnostic subequivariant graph rl 3d environments geometric symmetry

发现论文，激发创造

协变强化学习框架在协调运动控制中的应用

利用 CoordiGraph，通过在学习过程中嵌入重力影响下的等变性原则来增强强化学习中的动作控制协调性，以提高对关节之间微妙关系建模的方法。与当前主要方法相比，CoordiGraph 显著提高了泛化和样本效率。

Mar, 2024

分层强化学习用于具有子任务依赖性的零样本普适性

提出了一种新的强化学习问题，该问题需要代理在一个由子任务图描述的先前未见的环境中进行泛化，我们提出了一种神经子任务图求解器，通过使用递归神经网络嵌入来编码子任务图，并用基于梯度的策略，图奖励传播来预训练它，进一步通过演员 - 评论家方法微调它，实验结果表明，我们的代理可以进行复杂的推理，找到执行子任务图的近似最优方式，并且在未见的子任务图上具备很好的泛化性能。

Jul, 2018

使用子等变图神经网络学习物理动力学

本文提出了一种新颖的基础方法，称为 Subequivariant Graph Neural Network，并解决了在物理动力学中如何将物理定律所包含的对称性协同模型设计以及模型如何处理物理世界中不同形状、尺寸和属性的物体等问题。该模型在 8 个场景的 Physion 数据集中，平均接触预测准确率有超过 3％的提高，在 RigidFall 数据集中有 2 倍的低回滚均方误差，并展现出强大的泛化能力和数据效率。

Oct, 2022

离线强化学习中的等变数据增强技术

我们提出了一种新的方法来解决离线强化学习中的泛化问题，通过学习动力学模型并检查其是否与固定类型的转换即状态空间中的平移等变，使用熵正则化增加等变集合并用结果转变的样本增强数据集，最后基于增强数据集使用现成的离线强化学习算法离线学习新策略，实验证明该方法可以大大提高对环境进行测试时的策略效果。

Sep, 2023

E (2) 等变图规划导航

学习机器人导航的关键和挑战性任务是通过欧几里得对称性进行二维导航的规划，以及开发一种等变消息传递网络来进行值迭代。同时，通过可学习的等变层将特征提升到所需空间以处理多相机输入，在固定和无结构环境中的五种任务评估的实验证实了训练效率、稳定性和泛化能力的显著优势。

Sep, 2023

等变 MuZero

本文提出一种改进 MuZero 强化学习算法的方法，通过将环境的对称性显式地纳入其世界模型架构，既提高了数据效率，又提高了泛化能力，并在 MiniPacman 和 Chaser 上进行测试。

Feb, 2023

群等变深度强化学习

本文提出使用 Equivariant CNNs 训练强化学习智能体并研究其在对称变换方面的归纳偏差，结果表明在高度对称的环境中，使用 Equivariant CNNs 可以显著提高智能体的性能和样本效率，同时还需要更少的参数，而且它们对仿射变换引起的环境变化具有鲁棒性。

Jul, 2020

映射路径规划中具等变性的模型集与正则化

强化学习中，利用环境对称性可以提高效率、鲁棒性和性能。本文提出了一种构建等变策略和不变值函数的方法，而无需使用专门的神经网络组件，并在训练过程中添加了正则化项以增加归纳偏置。通过基于地图的路径规划案例研究，展示了等变集合和正则化对样本效率和性能的改进。

Mar, 2024

EDGI: 带体验代理的等变扩散规划

EDGI 是一种可使得体现实智能与空间对称性等几何结构特征的 Model-based 强化学习与规划算法，通过基于扩散模型的条件生成建模和指导策略来提高任务特定的采样效率和泛化能力。

Mar, 2023

X-RLflow：神经网络子图转换的图形强化学习

本文提出使用强化学习中一种无模型的代理，即基于图神经网络编码的目标计算图，并迭代输出一个经过转换的计算图的方式，来学习执行神经网络数据流图重写。我们展示了我们的方法在一系列深度学习模型上超越了现有的超优化系统，并在基于转换器式架构的模型上实现了高达 40％的性能提升。

Apr, 2023