本文介绍了一种学习分层深度神经网络策略，通过最大熵强化学习目标训练各层解决任务，并通过潜在随机变量进行增广，从而实现多层次策略学习。对标准基准测试任务，通过增加多层，可以改善高层策略表现。对于简单低层次的目标，高熵技能的优化学习可以解决更复杂的稀疏奖励任务。

Apr, 2018

该论文测试了一种新的模型，可以通过对象之间的本地交互来建模场景，而不是全局建模，从而在泛化到以前未遇到过的组合空间的物理任务时提供巨大的益处。论文提出了一种名为OP3的实体为中心的感知、预测和规划的方法，使用它可以预测和规划具有不同数量和配置的对象的模型，没有监督的学习构建实体表示。OP3通过对每个实体表示的对称处理来强制执行实体抽象，这使得它能够扩展到训练中没有观察到的不同数量和配置的对象上。该方法的主要技术挑战在于将这些实体表示地面化到环境中的实际对象，该论文将该变量绑定问题视为推理问题，并开发了一种交互式推理算法，该算法使用时间连续性和交互式反馈将关于对象属性的信息绑定到实体变量上。在堆叠积木任务中，OP3泛化到新的积木配置和比训练时观察到的对象更多的对象，表现优于假设具有对象监督能力的oracle模型，比不表现实体抽象的最先进视频预测模型的准确率高两到三倍。

Oct, 2019

本文研究了利用自然语言来推动控制策略的泛化，并引入了一个新的多任务环境 Messenger，其中包括自由形式的文本手册，描述环境动态。使用实体 - 条件的注意力模块，作者提出了一个新的模型 EMMA，它可以从文本到观察值学习实体和动态之间的潜在关系，并实现了成功的零样本泛化。

Jan, 2021

通过研究发现，即使强制施加不完全匹配于领域对称性的equivariance约束，也能显著提高机器学习环境中对真实对称性的学习效率和性能。在强制施加extrinsic symmetry的情况下，在具有潜在对称性的领域中，equivariant model的表现优于non-equivariant方法。

Nov, 2022

本文提出一种改进MuZero强化学习算法的方法，通过将环境的对称性显式地纳入其世界模型架构，既提高了数据效率，又提高了泛化能力，并在MiniPacman和Chaser上进行测试。

Feb, 2023

本文介绍了一种基于超网络的预测器，结合了不变和等变的表示形式，以学习更丰富的表示，进而在等变性相关任务中获得显著的性能提升。同时，本文还介绍了一个名为3DIEBench的数据集，其中包含来自55个类别的3D模型渲染超过250万幅图像，提供了完全可控的对象变换。研究者希望这两个工具能够在更复杂的场景中实现更好的无监督学习效果。

Feb, 2023

本文提出了一种新型的3D-SGRL体系结构，引入Subequivariant Transformer (SET) 及几何对称性，用于广义物体的RL训练；在单任务、多任务和零样本泛化情形中验证过程证明了算法比现有方法更具实用性。

May, 2023

我们提出了一种新的方法来解决离线强化学习中的泛化问题，通过学习动力学模型并检查其是否与固定类型的转换即状态空间中的平移等变，使用熵正则化增加等变集合并用结果转变的样本增强数据集，最后基于增强数据集使用现成的离线强化学习算法离线学习新策略，实验证明该方法可以大大提高对环境进行测试时的策略效果。

Sep, 2023

我们提出了一种新颖的方法，利用人类在3D实体环境中解决任务时使用的无约束自然语言数据，通过软约束目标空间，对一组长期任务进行层次强化学习，从而实现在现实或开放环境中实现目标导向行为的挑战。

Sep, 2023

通过引入新方法实现了深度学习中与架构无关的等变性，比传统的等变架构方法和现有的与架构无关的方法更高效。该方法利用对比学习以及非等变网络来实现典范化，提供了更多对典范化网络选择的灵活性，并且在预训练模型的等变性以及典范化过程的加速方面实现了显著优势，速度提高了2倍。

May, 2024