基于去噪扩散模型，我们提出了一种用于文本控制的场景感知运动生成方法。该方法通过预训练场景不可知的文本到运动扩散模型，并利用包含详细场景信息的增强数据对模型进行微调，产生逼真多样的人 - 场景互动。

Apr, 2024

MoMask 是一种新颖的掩码建模框架，用于文本驱动的 3D 人体动作生成，通过分层量化方案将人体动作表示为多层离散动作令牌，并使用两个不同的双向转换器进行预测和填补，实验证明在文本到动作生成任务中，MoMask 在 HumanML3D 数据集上的 FID 为 0.045（相较于 T2M-GPT 的 0.141）以及在 KIT-ML 上的 FID 为 0.228（相较于 0.514），同时可以无缝应用于文本引导的时间修补等相关任务。

Nov, 2023

通过使用 MoDiPO（运动扩散 DPO）方法，该研究提出了一种新的方法，通过使用直接优化偏好来对齐文本到运动模型，以便生成更加真实的动作。

May, 2024

BANMo 是一种无需使用专门的传感器或预定义的模板形状就能从许多单目视频中建立高保真、关节式 3D 模型的方法，并将三种思想融合在一起，包括使用关节骨骼和混合皮肤的经典可变形形状模型、梯度优化的体积神经辐射场（NeRFs）和生成像素和关节模型之间对应的规范嵌入。

Dec, 2021

本文介绍了使用文本描述生成多样的 3D 人类动作的方法，并提出了 TEMOS 框架，它是一种基于变分自编码器的文本条件生成模型，可以产生多种不同的人体动作，实验证明 TEMOS 框架在 KIT Motion-Language 基准测试中取得了显著的改进。

Apr, 2022

该论文提出了一种使用伪字幕训练文本引导的 3D 形状生成器的方法，通过采用低级别的图像正则化，进一步增加几何多样性，可以从给定的文本生成 3D 纹理形状，并且对模型进行了大量的实验分析。

Mar, 2023

MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

Aug, 2022

提出了一种新的 4D 运动建模范例 SurMo，通过三个关键设计（基于表面的运动编码、物理运动解码和 4D 外观解码）在统一框架中联合建模时间动态和人体外貌。通过广泛实验证明了这种新范例的最先进性能，并展示了基于表面的运动三面体在渲染高保真度的一致视角人体时的表现能力。

Apr, 2024

在该论文中，我们演示了 TeleMoMa，这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口（包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等），TeleMoMa 降低了人们提供移动操纵演示的门槛。通过在仿真和现实世界中远程操作多个现有移动操纵器，我们展示了 TeleMoMa 的多功能性。通过训练移动操纵任务的模仿学习策略，并通过用户研究评估不同人机接口组合下初学者学习收集演示的难易程度，我们展示了使用 TeleMoMa 收集演示的质量。我们希望 TeleMoMa 成为一个有用的工具，使研究人员能够收集整体移动操纵演示。

Mar, 2024

通过提出的 MoDiTalker 模型，我们成功地解决了传统 GAN 模型在生成对话头像时存在的质量有限和训练不稳定的问题，并通过引入音频到运动和运动到视频两个模块，实现了高质量的对话头像生成。

Mar, 2024