Jul, 2020

用于人体动作预测的多任务非自回归模型

PDF
TL;DR本文提出了一种新的非自回归模型，该模型采用完全非自回归的解码方案、上下文编码器和位置编码模块来预测人体骨架的运动轨迹，并采用多任务训练范式来提高预测性能。该方法在 Human3.6M 和 CMU-Mocap 数据集上的表现优于现有的自回归方法。
human motion predictionrnn-based encoder-decoder architecturesnon-autoregressive modelcontext encodermultitask training paradigm
发现论文，激发创造
  • Pose Transformers（POTR）：使用非自回归 Transformer 进行人体动作预测

    该研究提出使用 Transformer 建模实现非自回归人体运动预测，采用串行解码替代基于先前预测的循环神经网络，实现了在序列中并行解码。该方法在短期预测方面具有较高的竞争力。

    Sep, 2021

  • 上下文感知的人体动作预测

    本文利用语义图模型和图注意力层来建立上下文感知体系结构，旨在正确建模人类行为中的对象和人际互动以提高人类运动的预测准确性。通过在全身人类动作数据库上进行的彻底评估，论文显示出模式的优越性。

    Apr, 2019

  • 通过建模运动环境和增强运动动态来进行长期人体运动预测

    本文提出了一种运动背景下的人类运动预测方法，通过摘要历史人类运动来生成当前预测，同时引入修改过的高速公路单元并最小化克矩阵损失来增强运动动态，能够有效地预测未来的人类动作并提高模型性能，同时能够进行运动背景下的人类运动转化。

    May, 2018

  • 基于循环神经网络的人体动作预测

    本文旨在研究人体运动建模领域的前沿研究，特别关注基于深度递归神经网络的研究成果，对当前问题的评价方法进行了调查，在研究现有的体系结构、代价函数和训练程序时，提出了三点标准改进措施，取得了最新技术的突破性进展。

    May, 2017

  • 学习人体运动模型进行长期预测

    使用自动编码器的 LSTM 模型从数据中学习预测时空运动模型、自动生成自然运动序列并开发新的评估协议，成功地在两个最大的运动捕捉数据集上表现出长时间水平高于现有的预测和合成方法。

    Apr, 2017

  • 社交和情境感知的人体运动和姿势预测

    本文提出了一种新的框架来处理机器人导航中预测人类动态的问题，该框架将人类运动（或轨迹）和骨骼姿态预测这两个任务统一起来，并考虑到了场景和社交上下文等多种因素，最终在两个社交数据集上表现优异。

    Jul, 2020

  • 非自回归神经机器翻译多模态错误恢复的学习

    提出一种称为 RecoverSAT 的半自回归模型，用于非自回归神经机器翻译，其将翻译分成段并同时生成，同时每个段是逐个生成记号来预测的，通过动态确定段长度并删除重复部分，能够解决重复和缺失记号的多模态问题。与相应的自回归模型相比，该模型在保持相当性能的同时，实现了 4 倍以上的加速。

    Jun, 2020

  • 历史重演：基于动作注意力的人体动作预测

    通过引入基于注意力机制的前馈神经网络模型，提取了历史运动细节的相似性，建模了运动模式，并在人类行为数据集上实现了最先进的人体运动预测效果。

    Jul, 2020

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 具有位置对齐的快速图像字幕生成

    提出了一种非自回归解码框架用于图片描述，该框架使用位置对齐和推理策略来指导更进一步的句子生成，实验结果表明此模型相对于自回归模型有显著的加速效果，并且相较于 NA 模型有更好的表现。

    Dec, 2019