控制任务组合泛化的策略架构

Mar, 2022

Policy Architectures for Compositional Generalization in Control

Allan Zhou, Vikash Kumar, Chelsea Finn, Aravind Rajeswaran

TL;DR该研究提出了一种基于任务实体组成结构的框架和适当的策略设计，旨在解决通过目标配置来规范控制、机器人和规划的任务，此策略运用 Deep Sets 和 Self Attention 等结构，在模拟机器人操作任务的训练中，成功率更高且泛化能力更强。

Abstract

Many tasks in control, robotics, and planning can be specified using desired goal configurations for various entities in the environment. Learning goal-conditioned policies is a natural paradigm to solve such tasks. However, current approaches struggle to learn and generalize as task c

goal-conditioned policies compositionality deep sets self attention robot manipulation tasks

发现论文，激发创造

使用深度强化学习组合无关任务的策略

本文介绍了一种基于深度强化学习的技能转移和组合方法，该方法将智能体的原始策略应用到解决未知任务中，并可在高数据效率下解决需要任务规划和动作控制的挑战性环境。

May, 2019

自动组合表示变换以促进泛化

介绍了一种广泛适用的形式主义，即组合问题图，以解决机器学习中不利于推广的问题，提出了组合泛化问题并引入组合递归学习器，该框架适用于学习算法过程以组合表示转换，从而产生能够进行推理的学习器。

Jul, 2018

通过组合泛化实现机器人操作的高效数据收集

通过大规模机器人数据收集，研究表明，在考虑环境因素的情况下利用组合性训练数据，可以更好地提高机器人政策的泛化能力，从而避免收集针对特定情况的数据。

Mar, 2024

PoCo: 来自和为异构机器人学习的政策组合

从异构数据中训练通用机器人策略，使用 Policy Composition 方法将不同模态和领域的数据结合起来，学习场景级和任务级的广义操作技能，实现对多任务操作的灵活综合和推理时策略行为的自适应。在模拟和真实世界实验中，该组合策略在不同场景和任务下实现了稳健和灵巧的性能，并优于单个数据源的基线结果。

Feb, 2024

通过结构标注提高分类任务中的组合泛化能力

本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。

Jun, 2021

学习技能组合

该研究提出了一种可微分的框架，能够学习一种称之为技能的简单策略的广泛组合。通过不断地递归地将技能与自身组合，我们可以创建表现出复杂行为的层次结构。实验结果表明，该架构可以快速从简单技能中构建复杂技能，并对看似没有联系的技能组合进行零 Shot 泛化。

Nov, 2017

使用组合策略学习遵循语言指令

提出了一种基于强化学习和 seq2seq 模型的自然语言指令执行框架，利用布尔代数、组合价值函数和语言表示等技术，大大减少学习新任务的样本复杂度，实验中发现组合价值函数和语言表示的结合使得 agent 能够快速推广到新任务。

Oct, 2021

任务控制下的复合动作学习

本文提出了一个深度学习方法，用于对物理模拟角色的复合和任务驱动运动控制，该方法使用多个鉴别器在 GAN 类似的设置中直接同时从多个参考运动中为特定身体部位学习解耦运动。

May, 2023

可组合带属性规划

本文提出了一种方法，通过学习环境属性之间的转换和维护可能的转换图，将目标任务表达为属性集合，推断出当前状态的属性并在属性空间中搜索路径，以便执行计划，从而解决在训练期间未知的复杂任务并帮助智能体进行泛化。

Mar, 2018

带有正式保证的随机控制系统中的组合策略学习

通过学习神经网络策略及其与 rech-avoid 超融合 (Probabilistic Reach-Avoid Supermartingales, RASM) 的组合，提供了一种新的方法来保证复杂控制任务中神经网络策略的行为满足特定规范的概率，并在 Stochastic Nine Rooms 环境中进行了评估。

Dec, 2023