自共轨迹自编码器：轨迹嵌入的分层强化学习

ICMLJun, 2018

自共轨迹自编码器：轨迹嵌入的分层强化学习

Self-Consistent Trajectory Autoencoder: Hierarchical Reinforcement Learning with Trajectory Embeddings

John D. Co-Reyes, YuXuan Liu, Abhishek Gupta, Benjamin Eysenbach, Pieter Abbeel...

TL;DR本文提出了一种用于连续性轨迹的生成式模型 ——SeCTAR，该模型结合了变分自编码器和深层强化学习的思想，并提出了一种用于学习 latent representations 的方法。通过在学习到的 latent space 中进行 model-based planning，该模型能够有效地完成多阶段的强化学习任务，超越了标准强化学习方法和以往用于层级推理、model-based planning、探索的方法。

Abstract

In this work, we take a representation learning perspective on hierarchical reinforcement learning, where the problem of learning lower layers in a hierarchy is transformed into the problem of learning trajectory-level generative models. We show that we can learn continuous

representation learning hierarchical reinforcement learning latent representations sectar model-based planning

发现论文，激发创造

潜变量序列集合变压器用于联合多智能体运动预测

提出了基于自动机器人（AutoBots）的潜变量序列集变压器模型，具有单代理预测和多代理预测的能力，在全局 nuScenes 车辆运行预测领域取得了最佳成果，使用了学习可并处理的时间和社会 MHSA 模块的编码器，并结合可学习的种子参数，使用临时和社会 MHSA 模块的解码器能够高效地对整个未来场景进行推断。

Feb, 2021

通过自我对抗学习用于层次强化学习的目标嵌入

本研究旨在应对层次化强化学习中确定合适的低级策略的挑战，提出基于不对称自我对弈的无监督学习方案，自动学习环境中子目标的好的表示和可执行的低级策略，从而高级策略可以通过生成连续子目标向量序列来指导低级策略。实验结果表明，该模型在 Mazebase 和 Mujoco 环境中获得了令人信服的性能提升。

Nov, 2018

多模态车辆轨迹预测的分层潜在结构

利用层级潜在结构和车道级上下文向量，提升了变分自编码器在基于轨迹预测模型中的性能，生成复杂的多模态轨迹分布，并在预测准确度方面优于现有模型。

Jul, 2022

基于交叉轨迹表示学习的零样本泛化强化学习

本研究提出了一种名为 Cross-Trajectory Representation Learning（CTRL）的方法来训练一个无需奖励信号的编码器，使其将行为相似的观察结果映射到相似的表示空间中，以实现 RL 中的零 - shot 泛化，实验表明 CTRL 与 PPO 相结合可以更好地应对 Procgen 基准测试套件中的挑战。

Jun, 2021

基于层次结构的强化学习在视觉连贯叙事生成中的应用

我们提出了一种分层结构的强化学习方法，用于解决视觉叙事任务中生成连贯多句子故事的挑战，并在视觉叙事（VIST）数据集上评估了该模型的性能。

May, 2018

分层注意力编码器解码器

本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发了一种训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。

Jun, 2023

使用深层分层网络生成长期轨迹

本文利用专家示范解决关于建模长时间轨迹的问题，通过提出一种层次化神经网络结构，能够在高维状态空间中，自动识别长短期目标，进而实现不同于传统方法由单一策略为核心，解决了传统方法在涉及长期行为建模上的局限。作者以模拟篮球运动轨迹的案例为例，通过专业体育分析师的判断得出，相较传统基准方法，作者提出的层次化策略能够生成更为真实的轨迹。

Jun, 2017

序列模型的离散自编码器

本文旨在通过强制使用自动编码器并引入改进的语义哈希技术，从序列模型中提取更好的表示，以提高其在语言建模和机器翻译等任务中的表现，并展示了该技术在生成多元化翻译方面的应用。

Jan, 2018

基于解缠识别和非线性动力学模型的无监督学习

本文介绍了一种用于无人监督学习序列数据的框架 ——Kalman 变分自编码器，该框架在描述视频中的动态变化时不使用构成其帧的像素空间，而是用一个描述其物体非线性动态的隐藏空间。该模型在各种模拟的物理系统视频中进行端到端训练，在生成和缺失数据输入任务方面优于竞争方法。

Oct, 2017

用分层潜在技能提升自主驾驶的离线强化学习

通过设计变分自编码器来学习技能，我们提出了一个基于技能的框架来增强离线强化学习，从而克服车辆规划中的长期规划挑战。通过将学到的技能作为动作，可以训练出能够进行长期推理和规划未来的最终策略，从而在 CARLA 上取得了强大的性能优势。

Sep, 2023