运动程序的分层运动理解
介绍了程序化动作概念，该概念以层次化的方式表示人类动作，捕捉低级运动和高级描述作为运动概念，并能够在一个框架中实现人类动作描述、交互式编辑和新的视频序列受控合成。以半监督方式从配对视频和动作序列中学习该概念表示的体系结构，并演示了该框架在多个应用中的高效性和有效性，尤其是在小数据范围内优于已建立的基线方法，通过紧凑的表述，也可以提供低资源训练配方，以实现数据效率学习。
Jun, 2022
我们提出了一个名为 HumanMotionQA 的任务来评估模型在长形式人体运动序列上的复杂多步推理能力，同时提出了一种名为 NSPose 的神经符号方法。该方法使用符号推理和模块化设计通过学习运动概念、属性神经算子和时间关系来地面运动。我们演示了 NSPose 在 HumanMotionQA 任务上的适用性，优于所有基线方法。
May, 2023
提出了一种利用分层语义图实现对人体运动生成的细粒度控制的方法，通过将运动描述分解成三个层次的语义图，从整体到局部的结构帮助全面理解运动描述和对运动生成进行细粒度控制，并对分解的文本到运动扩散过程进行了优化，通过修改分层语义图的边权重，实现了生成运动的持续细化，具有超过基准数据集 HumanML3D 和 KIT 的优越性能。
Nov, 2023
人类的行为具有层次性，通过将任务分解为子任务或将抽象行为分解为具体行为而产生。本文通过观察人们生成具有明确层次结构的行动序列的程序，探究人们如何形成层次结构的计划，并发现人类在计划时对效用最大化和最小描述长度两个指标敏感，但同时具有超越最小描述长度的重用性偏好，可以通过将最小描述长度模型扩展为对程序的生成模型来解释。此模型可以最好地预测人类行为，突出了指导层次规划的原则。
Nov, 2023
本文提出了一种可扩展的程序合成框架，通过层级组合程序实现程序合成，该框架可以从输入 / 输出对中合成比之前更长、更复杂的程序，并通过任务嵌入空间和程序解码器将任务嵌入解码为程序。
Mar, 2023
运动理解的目标是建立动作语义与运动之间的可靠映射关系，通过使用运动的客观动力学事实作为中介，我们可以统一运动知识库并构建一个运动理解系统，这也激发了运动生成的新型自动基准测试。
Oct, 2023
本文介绍一种可以从视频演示中提取概括性规则的模型，并探讨了其处理多个序列的能力，从而相较于传统的概括技术可以更好地利用边缘情况，并无需进行额外的过滤。通过在 Vizdoom 环境中合成程序的实验，取得了相对于现有工作的 11.75% 的程序准确性的提升。
Feb, 2023
本文提出了一种自我监督的方法来生成多样且自然的人体动作，通过分解生成任务并使用记忆库检索动作引用作为短程片段生成的源材料，并通过参数化的双向插值方案保证了生成运动的物理合理性和视觉自然性。在大规模的骨架数据集上，我们展示了这个方法在生成长距离、多样化和合理化运动方面的能力，并且这种方法能够适应未见数据，在动态世界中这种生成的序列有实实在在的效果。
Aug, 2020
在实际场景中的字符动画需要各种约束条件，如轨迹、关键帧、互动等。我们提出了一种可编程的运动生成新范式，通过将运动控制任务分解为原子约束的组合，并将其编程到误差函数中，实现生成满足约束的运动序列，以此解决动作控制的开集问题。实验证明在处理一系列未知任务时，我们能够生成高质量的运动。这些任务包括运动动力学、几何约束、物理定律、场景、物体或角色自身部位的相互作用等，且无需收集特定的训练数据或设计特殊的网络结构。同时，我们观察到新的技能在编程新任务时的涌现，还利用大型语言模型实现了自动编程。我们希望这项工作能为通用人工智能代理的运动控制铺平道路。
May, 2024