Oct, 2023

运动到语言：无监督学习的同步语义运动分割

PDF
TL;DR本研究致力于构建一种序列到序列的架构，用于实现动作到语言的翻译和同步。我们提出了一种适用于同步 / 实时文本生成的新的局部注意力的递归表达形式，以及一种更适用于较小数据和同步生成的改进动作编码器架构。通过在 KIT 运动语言数据集上的实验证明，这两个因素都增加了生成文本质量和同步质量。
motion to language translationsynchronous text generationrecurrent formulation of local attentionmotion encoder architecturemotion language dataset
发现论文，激发创造
  • 基于文本的人体运动生成与多视角关注机制

    基于文本描述生成的 3D 人体动作一直以来都是一个研究焦点，本文提出了使用多角度注意机制的两阶段方法，即基于人体局部和整体的运动注意以及运动和文本跨模态的全局局部注意机制，通过生成变压器实现文本驱动的运动生成，在 HumanML3D 和 KIT-ML 上的实验证明了我们方法在定性和定量评估方面优于现有的技术，并实现了精细合成和动作生成。

    Sep, 2023

  • 基于序列到序列翻译的融合全程和时间戳监督的暂态行动分割

    本文提出了一个基于序列到序列解决视频动作分割的统一框架，利用全面时间戳监督设置的 seq2seq 翻译。我们使用 类似于映射视频帧序列到动作分段序列的方法，来解决动作分割这一问题。我们提出了一系列修改和辅助损失函数，以及针对标准 Transformer seq2seq 翻译模型的模块化方法，以应对长输入序列和相对较少的视频输出序列。我们为编码器引入了辅助监督信号，提出了一个独立的对齐解码器用于隐式持续时间预测，最后通过我们提出的有限 k-medoid 算法将框架扩展到基于时间戳的监督设置，用于生成伪分割。我们的框架在完全和时间戳监督设置中表现一致，胜过或与几个数据集上的最先进算法相竞争。

    Sep, 2022

  • 引导注意力的可解释运动字幕

    从动作生成文本的研究，关注体部特定区域与动作的时间同步，通过运动编码和时空注意模型的结合，引入引导注意力及自适应门控训练策略，实现解释性生成并在性能上有所提升。

    Oct, 2023

  • 基于视觉语言模型的语义感知动作转换

    使用视觉语言模型提取和保留有意义的运动语义，该方法通过可微分模块渲染 3D 动作并将高级运动语义与提取的语义嵌入进行对齐，以确保保留微观动作细节和高级语义，实验证明了该方法在产生高质量的运动重定向结果的同时准确保留了运动语义。

    Dec, 2023

  • 视频语义分割的运动状态对齐

    本研究提出了一种基于运动状态对齐的视频语义分割方法，该方法解决了信息不一致性和计算成本等难点，实现了像素级状态一致性和区域级时间一致性，能够以低计算成本高精度地分割出视频语义区域，并在 Cityscapes 和 CamVid 数据集上验证了其优越性。

    Apr, 2023

  • 文本到动作检索：走向人体运动数据和自然语言的联合理解

    本文探讨如何实现基于文本描述的运动检索任务，利用姿态估计、文本编码和基于分割空时注意力的 Motion Transformer 模型，对大量 3D 骨骼序列进行内容检索，实现了相应的定量度量评估。

    May, 2023

  • 运动数据有效的无监督时序分割

    我们介绍了一种基于自相似结构的自动化时间分割人体运动数据的方法，并使用邻域图将运动基元聚类成更大的语义实体，实现了完全无监督的分割和分析运动数据的能力。

    Oct, 2015

  • TM2T: 随机和分词建模用于生成 3D 人体动作和文本的互相作用

    本文探讨了从文本生成 3D 全身运动的问题，并提出了运动令牌的使用方法，结合神经机器翻译模型进行任务的处理，通过实验数据对比，表明我们的方法在这两个任务上具有优越性。

    Jul, 2022

  • 使用深度循环神经网络学习人体全身运动与自然语言之间的双向映射

    该研究提出了一种使用深度循环神经网络和序列到序列学习学习人体全身运动和自然语言之间双向映射的生成模型，该模型不需要分割或手动特征工程，并学习分布式表示，其结构可以生成逼真的动作或描述.

    May, 2017

  • T2LM: 多句长期 3D 人体运动生成

    通过引入简单但有效的连续长期生成框架 T2LM，本文解决了长期 3D 人体动作生成的问题，并在不需要顺序数据的情况下取得了优越的成果。

    Jun, 2024