从自然语言生成三维人体姿态的 PoseScript

ECCVOct, 2022

从自然语言生成三维人体姿态的 PoseScript

PoseScript: 3D Human Poses from Natural Language

Ginger Delmas, Philippe Weinzaepfel, Thomas Lucas, Francesc Moreno-Noguer, Grégory Rogez

TL;DR本文提出了 PoseScript 数据集，该数据集对 AMASS 的几千个 3D 人体姿势与丰富的人体注释描述进行了配对。我们提出了一种详细的字幕生成过程，通过一组简单但通用的规则从给定的 3D 关键点提取低级姿势信息 —— 姿势码，然后使用句法规则将姿势码组合成更高级别的文本描述。自动注释大大增加了可用数据量，并使得在人类字幕微调预训练的深度模型上变得可能。

Abstract

natural language is leveraged in many computer vision tasks such as image captioning, cross-modal retrieval or visual question answering, to provide fine-grained semantic information. While human pose is key to h

natural language computer vision 3d human pose posescript dataset textual pose description

发现论文，激发创造

姿态修正：用自然语言纠正 3D 人体姿态

通过自然语言反馈修正三维人体姿势以及生成纠正的三维人体姿势的文本编辑方法。

Sep, 2023

Language2Pose: 自然语言基础姿态预测

本文提出了一种名为 JL2P 的神经架构，采用课程学习方法来解决如何将语言概念映射到动作动画的核心建模挑战，并在公开语料库上进行了测试，表明我们的方法能够生成更准确的动画。

Jul, 2019

MotionScript: 自然语言描述表达性 3D 人类动作

该论文提出了 MotionScript，一种用于人体动作到文本转换的算法和自然语言表达。MotionScript 旨在比以前的自然语言方法更详细和准确地描述动作。通过将 MotionScript 表示应用于文本到动作的神经任务中，可以更准确地重构身体动作，并且可以使用大型语言模型生成看不到的复杂动作。

Dec, 2023

PoseGPT：关于三维人体姿势的对话

PoseGPT 是一个框架，利用大型语言模型（LLMs）从图像或文本描述中理解和推理出 3D 人体姿势。它通过嵌入 SMPL 姿势作为多模态 LLM 中的独立信号标记来解决传统人体姿势估计方法的局限性，不仅简化了姿势预测，而且赋予了 LLMs 在推理人体姿势方面应用它们的世界知识的能力，从而在姿势估计上进行推理，创造了两项先进任务：姿势的假设生成和姿势估计的推理。PoseGPT 在这些新提出的任务上优于现有的多模态 LLMs 和特定任务的方法，并开辟了人体姿势分析的新方向。

Nov, 2023

基于图像合成的深度 3D 人体姿态估计

本文提出了一种在 “野外” 环境中进行三维人体姿态估计的解决方案，通过生成大量的具有三维姿势标注的逼真合成图像，并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练，成功地在受控环境（Human3.6M）中优于大多数已发表的作品，并在真实图像（LSP）中展现了有前途的结果。

Feb, 2018

从文字描述中合成构成动画

本文针对自然语言描述的运动合成问题，提出了一种基于两级流模型的生成复合动作的技术，利用两个流分别表示上下半身的动作，能够有效地生成短句和复合句中描述的 3D 姿态序列，与已有研究相比，实验结果表明我们的模型在客观评价方面进步了 50% 以上，在主观评价方面也得到了很好的实验结果。

Mar, 2021

自然语言描述生成高保真 3D 人脸

本研究提出了一种基于自然语言描述生成高质量三维人脸模型的方法，通过建立 Describe3D 数据集以及使用两阶段框架来解决描述语言空间与形状 / 外观空间映射关系的问题，并且实验结果表明，该方法可以以比以往更高的精度和质量生成符合输入描述的三维人脸。

May, 2023

TIPS: 文本驱动的姿势合成

本研究提出了一种三步走的文本姿势转移方法，解决了现有姿势转移算法的缺陷，并在 DeepFashion 数据集上新增了姿势注释，通过实验得出了显著的定量和定性分数。

Jul, 2022

来自语言模型的姿态先验

我们提出了一种零射类实验中的姿势优化方法，可在估计人体的 3D 姿势时强制执行准确的物理接触约束。我们的主要见解是，由于语言通常用于描述物理交互，大型预训练的基于文本的模型可以作为姿势估计的先验知识。因此，我们可以利用这一见解，通过将大型多模态模型（LMM）生成的自然语言描述符转化为可追踪的损失，以约束 3D 姿势优化。尽管方法简单，但我们的方法出人意料地产生了令人信服的人与人之间的接触姿势重建，正确捕捉了社交和物理互动的语义。我们证明了我们的方法与需要昂贵的人工标注联系点和训练专门模型的更复杂的最先进方法相媲美。此外，与以往方法不同的是，我们的方法为解决自体接触和人与人之间的接触提供了统一的框架。

May, 2024

SportsPose -- 一份动态的三维体育姿势数据集

SportsPose 是一个大规模的姿态数据集，包括高度动态的运动。使用超过 176,000 个来自 24 名不同受试者的 5 种运动活动的 3D 姿势，SportsPose 提供了一组反映了运动复杂和动态性的多样化和全面的 3D 姿势。数据集伴随代码，可以从我们的网站上下载，希望 SportsPose 可用于开发和评估更有效的运动表现分析和损伤预防模型。

Apr, 2023