Jul, 2023

TransFusion: 一种实用有效的基于 Transformer 的扩散模型，用于 3D 人体动作预测

PDF
TL;DRTransFusion 是一种基于扩散的 3D 人体动作预测模型，它能够生成更有可能发生的样本并保持一定程度的多样性，通过使用 Transformer 作为骨干，以及在浅层和深层之间使用长跳连接和离散余弦变换来建模运动序列，改善性能，并与使用额外模块的先前基于扩散的模型相比，我们将所有输入（包括条件）都视为令牌，创造出比现有方法更精简的模型。我们对基准数据集进行了广泛的实验研究，以验证我们的人体动作预测模型的有效性。
human motion predictionintelligent remanufacturing systemstransfusiondiffusion-based modelbenchmark datasets
发现论文，激发创造
  • 基于运动扩散的全局一致随机人体动作预测

    该论文提出了一种基于扩散的随机人体运动预测框架 DiffMotion，旨在预测未来的姿势序列，并通过使用多阶段图卷积网络和方差调度器，使预测结果准确、逼真、一致，同时在准确度和保真度方面明显优于先前的方法，并通过基准数据集展现了强大的鲁棒性。

    May, 2023

  • TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021

  • 随机运动预测的人体关节运动扩散细化

    该研究提出了一种名为 MotionDiff 的扩散概率模型，将人体运动的运动学视为受热的粒子，其自原始状态扩散到噪声分布。该方法通过一种自然的方式获取了 “白化” 的潜在变量，而无需任何可训练参数，证明 MotionDiff 模型在两种数据集上具有竞争力的准确性和多样性表现。

    Oct, 2022

  • 我们能否使用扩散概率模型进行三维运动预测？

    本研究评估了扩散概率模型在 3D 人体运动预测任务中的潜力。通过对人类 3.6M 和 HumanEva-I 数据集的研究，我们发现扩散概率模型可以在单个（确定性）和多个（随机性）3D 运动预测任务中具有竞争力，并且可以在单个训练过程完成后达到一个合理的预测结果，同时平衡对预测结果的可能性和多样性的需求。

    Feb, 2023

  • 基于交叉扩散模型的逼真人体动作生成

    我们介绍了跨人类运动扩散模型（CrossDiff），这是一种基于文本描述生成高质量人体运动的新方法。我们的方法使用共享的变换器网络在扩散模型的训练中整合了 3D 和 2D 信息，将运动噪声统一到一个特征空间中。这使得特征能够被解码为 3D 和 2D 运动表示，而不管它们的原始维度如何。CrossDiff 的主要优势在于其跨扩散机制，它允许模型在训练过程中将 2D 或 3D 噪声转化为清晰的运动。这种能力利用了 3D 和 2D 运动表示中的互补信息，捕捉了常常被单纯依赖 3D 信息的模型所忽视的复杂人体运动细节。因此，CrossDiff 有效地结合了两种表示的优势，生成了更加真实的运动序列。在我们的实验中，我们的模型在文本到运动基准上展示了具有竞争力的最新性能。此外，我们的方法始终提供了增强的运动生成质量，捕捉了复杂的全身运动细节。此外，在具有预训练模型的情况下，我们的方法适用于在训练过程中使用野外 2D 运动数据而无需 3D 运动的真实值来生成 3D 运动，凸显了其在更广泛应用和有效利用可用数据资源方面的潜力。

    Dec, 2023

  • 3D 控制合成运动人物

    利用扩散模型为给定目标 3D 动作序列中的人物从单个图像创建动画的框架，包括学习关于人体和服装不可见部分的先验知识以及呈现适当的身体姿势和纹理的新姿态。

    Jan, 2024

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 社交转动：可提示的人类轨迹预测

    通过引入 Social-Transmotion，我们介绍了一种利用 transformer 处理多样化和大量视觉线索、捕捉人类行为多模态特性的通用模型，在人类轨迹预测任务中翻译自然语言处理中 prompt 的思想并扩充了轨迹数据，从而实现了增强的人类轨迹预测效果。

    Dec, 2023

  • 透明度为基础的扩散模型用于异常检测

    提出了一种新的透明度扩散过程，通过逐渐增加异常区域的透明度，恢复其正常外观并保持不含异常的区域的细节，从而实现精确的异常检测。TransFusion 在 VisA 和 MVTec AD 数据集上获得了 98.5% 和 99.2% 的图像级 AUROC，达到了最先进的性能。

    Nov, 2023

  • DDT：一种基于扩散驱动的基于 Transformer 框架的视频人类网格恢复方法

    本文提出了一种基于扩散驱动变换器的视频人体网格复原框架 (DDT)，能有效地提高运动平滑性和时间连续性，并且具有较高的效率和因果性，能够广泛应用于各种实际场景。

    Mar, 2023