COLINGOct, 2016

从动词描述中生成运动事件的模拟

PDF
TL;DR本研究使用计算建模的方法将自然语言中的运动事件转化为三维的时间模拟，以统计和检测不同的键值与其相应的物理运动表现是否始终一致。
发现论文，激发创造
  • 从文本描述中生成三维场景的人类动作

    通过将任务分解为两个可管理的子问题：目标对象的语言准确性和以目标对象为中心的运动生成，本文提出了一种新的方法来生成给定人 - 场景交互文本描述的 3D 室内场景中的人体动作，实验表明我们的方法在运动质量方面优于基线并验证了我们的设计选择。

    May, 2024

  • MotionScript: 自然语言描述表达性 3D 人类动作

    该论文提出了 MotionScript，一种用于人体动作到文本转换的算法和自然语言表达。MotionScript 旨在比以前的自然语言方法更详细和准确地描述动作。通过将 MotionScript 表示应用于文本到动作的神经任务中，可以更准确地重构身体动作，并且可以使用大型语言模型生成看不到的复杂动作。

    Dec, 2023

  • 从文字描述中合成构成动画

    本文针对自然语言描述的运动合成问题，提出了一种基于两级流模型的生成复合动作的技术，利用两个流分别表示上下半身的动作，能够有效地生成短句和复合句中描述的 3D 姿态序列，与已有研究相比，实验结果表明我们的模型在客观评价方面进步了 50% 以上，在主观评价方面也得到了很好的实验结果。

    Mar, 2021

  • 利用力学动力学和事件逻辑将动词的词汇语义接地于视觉感知中

    本文提出了一个实现的系统，用于识别简单空间 - 动态动词描述的事件在短的图像序列中发生。使用力学和事件逻辑来指定事件的词汇语义，使得该系统比起基于运动轮廓的先前系统更加强健。

    Jun, 2011

  • 随心所欲：具有层次语义图的运动扩散模型细粒度控制

    提出了一种利用分层语义图实现对人体运动生成的细粒度控制的方法，通过将运动描述分解成三个层次的语义图，从整体到局部的结构帮助全面理解运动描述和对运动生成进行细粒度控制，并对分解的文本到运动扩散过程进行了优化，通过修改分层语义图的边权重，实现了生成运动的持续细化，具有超过基准数据集 HumanML3D 和 KIT 的优越性能。

    Nov, 2023

  • TEMOS: 从文本描述生成多样化的人类动作

    本文介绍了使用文本描述生成多样的 3D 人类动作的方法，并提出了 TEMOS 框架，它是一种基于变分自编码器的文本条件生成模型，可以产生多种不同的人体动作，实验证明 TEMOS 框架在 KIT Motion-Language 基准测试中取得了显著的改进。

    Apr, 2022

  • 从细粒度文本描述生成运动

    建立一个大规模的细粒度文本 - 运动数据集 FineHumanML3D，并设计一种新的文本生成运动模型 FineMotionDiffuse，以更好地生成空间 / 时间上的综合动作。

    Mar, 2024

  • 自然语言中的迭代运动编辑

    使用自然语言来迭代地指定对现有字符动画进行本地编辑的方法。通过使用一组有确定语义的运动编辑操作符来表示运动编辑空间，然后使用扩散基的关键帧插值生成最终动画。

    Dec, 2023

  • 通过模块化运动程序进行动作问答

    我们提出了一个名为 HumanMotionQA 的任务来评估模型在长形式人体运动序列上的复杂多步推理能力，同时提出了一种名为 NSPose 的神经符号方法。该方法使用符号推理和模块化设计通过学习运动概念、属性神经算子和时间关系来地面运动。我们演示了 NSPose 在 HumanMotionQA 任务上的适用性，优于所有基线方法。

    May, 2023

  • 通过运动动作语义桥接人类运动和行动情景

    运动理解的目标是建立动作语义与运动之间的可靠映射关系，通过使用运动的客观动力学事实作为中介，我们可以统一运动知识库并构建一个运动理解系统，这也激发了运动生成的新型自动基准测试。

    Oct, 2023