多条件人体动作合成任务的目标是结合多样的条件输入，例如文本、音乐、语音等，使任务能够适应于多种场景，从文本到动作、音乐到舞蹈等。本文引入了 MCM 框架，通过与任何 DDPM 类扩散模型相结合，实现多条件信息输入，同时保持其生成能力。我们还引入了一种基于 Transformer 的扩散模型 MWNet 作为我们的主要分支，通过通道维度的自注意力模块捕捉运动序列中的空间复杂性和关节之间的相关性。定量比较表明，我们的方法在文本到动作任务中取得了 SOTA 结果，并在音乐到舞蹈任务中取得了竞争性结果，可与任务特定的方法相媲美。此外，定性评估表明，MCM 不仅简化了原本设计用于文本到动作任务的方法在音乐到舞蹈和语音到手势等领域的适应性，消除了对网络重构的需求，而且实现了有效的多条件模态控制，实现了 “训练一次，生成动作无限”。

Sep, 2023

通过量化多种身体部位的运动为其各自领域定制的码本，利用预训练模型将多模态信号转换为共享的潜在空间，并通过逐步预测后续令牌形成完整序列来将这些信号转换成离散的运动令牌，最后从令牌序列中重构连续的实际运动。我们的研究方法将多模态动作生成挑战框架定义为令牌预测任务，利用基于控制信号模态的专门码本，具有可扩展性，能够轻松整合新的模态。广泛的实验证明了我们设计的有效性并强调了其广泛应用的潜力。

Nov, 2023

我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

May, 2024

FlowMDM 是第一个基于扩散的模型，它生成无需后处理或冗余去噪步骤的无缝人体运动组合。通过引入融合位置编码的技术，在绝对阶段恢复了全局运动连贯性，在相对阶段构建了平滑真实的过渡。FlowMDM 能够在 Babel 数据集上取得准确性、真实性和平滑度等方面的最新成果，并且在推理时仅使用每个动作序列的单个描述，通过其面向姿势的跨注意力机制使其对不同文本描述具有鲁棒性。最后，为了解决现有 HMC 度量的局限性，我们提出了两个新的度量指标：峰值加速度和加速度下的面积，以检测突变的转换。

Feb, 2024

通过利用多语言多模态学习模型（MLLMs）的无动作数据，我们首次探索了基于自然语言指令的开放式人类动作合成，实现了通用的人类动作合成，为未来的研究铺平了道路。

Jun, 2024

提出了一种基于混合多模态令牌变换器的组合多模态条件图像合成技术，解决了多模态控制信号协调问题和不平衡问题，实现了在复杂多模态条件下的高质量和忠实的图像合成。

May, 2023

通过结合文字提示、人体动作和现有物体来进行多模态场景合成的多条件扩散模型，理论上支持，实验证明优于最先进的基准，并可实现自然场景编辑应用。

Oct, 2023

MotionChain 是一个用于生成连续和长期人体动作的对话人体动作控制器，通过多模式提示不断增进了对多回合对话的理解，并生成与之对应的人体动作。

Apr, 2024

本文提出一个交互视觉和语言领域的多模式多媒体总结（MHMS）框架，旨在通过多模式输出为新闻文章自动生成封面图片和标题，或为在线视频提供介绍。本文的 MHMS 方法包含视频和文本细分和摘要模块，分别生成代表性关键帧和文本摘要，并利用最优输运距离制定跨域对齐目标，从而增强了跨域交互并产生高质量的多模式摘要。本文在三个最近发布的多模式数据集上评估了 MHMS 方法的效果。

Apr, 2022

本研究使用人类语音的多模态信息来改进生成 3D 手势，通过引入多模态先验作为约束来提高手势生成的质量，采用链式建模方法顺序生成面部融合形状、身体动作和手势，并结合从面部变形中得出的节奏提示和基于语音情感的风格化先验以生成手势，通过引入多模态先验，提高生成手势质量，消除了推断期间昂贵的设置准备的需求，大量实验证实我们的方法达到了最先进的性能。

Dec, 2023