ICLRApr, 2023

倒行逆施前行：基于行动影响的嵌入在行动语义之上

PDF
TL;DR通过使用潜在嵌入来即时建模行为的影响，在行为自适应策略（AAP）中设计了一种新的基于 Transformer 的策略头，该策略被用于两个具有挑战性的视觉导航任务中，即使在推理时缺少行为和先前未见过的扰动行为空间时，也表现出很高的性能和鲁棒性。
embodied agentsactionslatent embeddingspolicy headvisual navigation
发现论文，激发创造
  • 学习具有行动嵌入的可转移动作策略

    本文提出了一种通过学习状态嵌入和动作嵌入来跨不同状态和动作空间传递策略的方法，实验结果表明该方法不仅可以学习有用的动作嵌入，而且可以加速策略学习。

    Sep, 2019

  • LACMA：语言对齐的对比学习和元动作用于体现式指令跟踪

    通过对代理的隐藏状态与指令进行对比学习，以及引入元动作来缩小高级语言指令与代理低级行动空间之间的语义差距，该研究成功提高了代理在未知环境下的成功率。

    Oct, 2023

  • 行动前先思考：将语言推理与行动交错的统一策略

    提出了一种将 Transformer 模型与强化学习相结合，并在 BabyAI 任务上表现出色的新方法，其中模型输出既包含动作，也包含文本描述。

    Apr, 2023

  • 行动～转变

    本文提出将动作作为转换模型的一种新方法，并通过设计 Siamese 网络来学习动作的高层次特征，实现了对于视频数据的动作识别，同时在 ACT 数据集上显示出了重要的跨类别泛化性能改进。

    Dec, 2015

  • 多任务策略训练中的简单自发行为表示

    该论文研究了深度强化学习中低级感知和运动信号的表示方法，提出通过多任务策略网络输入状态和任务嵌入的方法得到有意义的运动表示空间，并在此基础上进行高级别指令的执行规划，实验结果表明该方法优于现有强基线方法，具有较强的任务适应能力。

    Oct, 2022

  • Where2Act: 基于像素的 3D 关节目标对象动作预测

    本文提出一种基于深度学习的方法，通过对物体的可动部分及其所需的操作进行分析，从图像中提取高度本地化的操作信息，从而实现对视觉场景的语义理解。

    Jan, 2021

  • DCT: 大离散行动空间的强化学习行动嵌入的双通道训练

    本文提出了一种新颖的框架来 efficiently learn action embeddings，并且成功地在 2D maze 环境和真实世界的电子商务交易数据中实现了更干净的 action embeddings 和更好的策略学习。

    Jun, 2023

  • 动作语义网络：考虑多智能体系统中动作的影响

    提出一种名为 Action Semantics Network (ASN) 的网络架构，利用神经网络明确表示多智能体之间的行动语义，以提高多智能体协作的表现，适用于 StarCraft II 和 Neural MMO。

    Jul, 2019

  • 动作的自然语言

    Act2Vec 是一种通用的框架，用于学习基于上下文的强化学习中的行动表示，在此基础上，该文章针对三个领域 (绘画任务、高维导航任务和星际争霸 2) 进行了可视化和测试，并展示了先前环境知识如何从示范中提取并注入到编码自然兼容行为的行动向量表示中，最终优化了 Q 值函数的近似。

    Feb, 2019

  • 面向语言驱动视频动作定位的实体感知和动作感知 Transformer

    本文提出了一种利用实体感知和动作感知的转换器，通过文本实体及动作查询逐步地定位视频中的动作定位。实验表明，相比于现有方法，我们的方法在动作定位的精度上具有优势。

    May, 2022