Oct, 2022

由无生有：无言训练的开放词汇文本生成动作

PDF
TL;DR本文探讨了在零样本学习中的离线开放词汇文本到动作生成，使用一个预训练的运动生成器从被遮蔽的运动中学习来重建全动作，利用一个文本到姿态生成器合成未被遮蔽的姿态来构建提示，使用了文本 - 姿态对齐模型和新颖的无文字训练机制来提高效率和稳定性。
text-to-motion generationzero-shot learningmotion generatortext-pose alignment modelwordless training mechanism
发现论文，激发创造
  • OMG：通过混合控制器实现开放词汇的动作生成

    基于 OMG 框架，我们通过预训练和微调将文本转动作的生成过程进行改进，并引入 motion ControlNet 和 Mixture-of-Controllers 模块，实现了针对零样本文本生成动作的显著提升。

    Dec, 2023

  • MotionClone：无需训练的可控视频生成运动克隆

    MotionClone 是一个无需训练的框架，通过时间注意力机制从参考视频中克隆运动以控制文本到视频生成，同时引入了区域感知的语义引导机制提升生成模型的空间关系和随机应变能力，实验结果显示 MotionClone 在全局摄像机运动和局部目标运动方面表现出色，并具有运动保真度高、文本对齐准确和时序一致等显著优势。

    Jun, 2024

  • 跟随你的姿势：使用无姿态视频进行姿势引导的文本到视频生成

    本研究提出一种新的双阶段训练方法，可利用易获得的数据集和预训练的 text-to-image（T2I）模型，生成可编辑和姿态可控的字符视频。这种方法成功地生成了连续的姿态可控字符视频，同时保持了预训练 T2I 模型的编辑和概念构成能力。

    Apr, 2023

  • 面向开放领域的多人动作驱动文本合成

    本研究旨在从文本描述中生成多个人的自然和多样化的群体动作。我们利用大规模图像和视频数据集估计姿势信息，通过基于 Transformer 的扩散框架，实现了多个数据集中任意数量主题或帧的生成。实验证明，我们的方法是第一个能从多样的文本提示中生成高多样性和保真度的多主体运动序列的方法。

    May, 2024

  • 计划、姿势与前行：走向开放世界的文本转动作生成

    该研究提出了名为 PRO-Motion 的拆分与解决框架，由运动规划器、姿势扩散器和动作扩散器三个模块组成，通过指示大型语言模型生成描述目标动作关键姿势的脚本序列，转化为真实的运动，从而实现了从复杂的开放世界提示生成多样且逼真的运动。

    Dec, 2023

  • MotionZero: 利用运动先验进行零样本文本到视频生成

    零样本文本到视频合成通过对不含有视频的提示生成视频。我们提出了一种称为 MotionZero 的提示自适应和解耦运动控制策略，从不同对象的提示中导出运动先验，并将不同对象的运动控制应用于相应的区域中。此外，为了支持运动振幅不同的视频，我们提出了一种运动感知的注意力机制来通过运动振幅调整帧之间的注意力。大量实验证明我们的策略可以正确控制不同对象的运动，并支持多种应用，包括零样本视频编辑。

    Nov, 2023

  • 通过强化学习学习具有通用性的人体运动生成器

    以文本为驱动的人体动作生成作为计算机辅助内容创作的重要任务之一，近年来越来越受到关注。本文提出了一种以马尔可夫决策过程为基础的文本到动作生成算法 InstructMotion，通过优化奖励设计，同时在配对数据和合成文本数据上进行训练，实现了全局语义级别的文本与动作对齐和更好地对新的提示进行泛化，从而在定量和定性上取得了出色的性能。

    May, 2024

  • TEMOS: 从文本描述生成多样化的人类动作

    本文介绍了使用文本描述生成多样的 3D 人类动作的方法，并提出了 TEMOS 框架，它是一种基于变分自编码器的文本条件生成模型，可以产生多种不同的人体动作，实验证明 TEMOS 框架在 KIT Motion-Language 基准测试中取得了显著的改进。

    Apr, 2022

  • 基于开放词汇的情景和文本背景下的基础人体运动生成（GHOST）

    本文提出了一种方法，将开放词汇场景编码器与架构相结合，建立了文本和场景之间的强大连接；方法通过知识蒸馏从现有的开放词汇语义图像分割模型预训练场景编码器，确保了一个共享的文本 - 场景特征空间，并通过引入两种新的正则化损失，用于回归目标对象的类别和尺寸，在条件运动生成时对场景编码器进行微调；通过在 HUMANISE 数据集上进行的评估和知觉研究，我们的方法相比先前最先进的基准模型，可以使目标对象距离指标减少高达 30%；此外，我们的方法还能无缝适应未来提供每个像素文本对齐特征的 2D 分割方法。

    Apr, 2024

  • 文本到动作检索：走向人体运动数据和自然语言的联合理解

    本文探讨如何实现基于文本描述的运动检索任务，利用姿态估计、文本编码和基于分割空时注意力的 Motion Transformer 模型，对大量 3D 骨骼序列进行内容检索，实现了相应的定量度量评估。

    May, 2023