CVPRMar, 2024

InterHandGen: 基于级联逆向扩散的双手交互生成

PDF
TL;DR我们提出了 InterHandGen，这是一个学习两只手相互作用生成先验的新框架。通过从我们的模型进行抽样，可以产生合理且多样化的双手形状，可以与或没有对象进行近距离交互。我们的先验可以整合到任何优化或学习方法中，以减少在不适定设置中的歧义。我们的关键观察是，直接建模多个实例的联合分布由于其组合性质而具有很高的学习复杂度。因此，我们建议将联合分布的建模分解为对事实单独实例分布的无条件建模和条件建模。我们介绍了一个扩散模型，它通过条件丢弃来学习单手分布的无条件和有条件性。在抽样方面，我们结合了防穿透和无分类器指导，以实现合理的生成。此外，我们建立了严格的两只手合成评估协议，在可信度和多样性方面，我们的方法明显优于基准生成模型。我们还证明，我们的扩散先验可以提高从野外单目图像中重建两只手的性能，达到新的最高准确度。
interhandgentwo-hand interactiongenerative priordiffusion modelplausible generation
发现论文，激发创造
  • HandDiffuse: 通过扩散模型生成的双手交互控制器

    提出了一个新的数据集 HandDiffuse12.5M，它是一个包含强烈的双手互动时间序列的数据集，用于可控的互动手势生成；通过扩散模型和设计不同控制器的两种运动表示方法，进一步提出了强基准方法 HandDiffuse；实验证明，该方法在运动生成方面优于现有技术，同时可用于其他数据集的数据增强。

    Dec, 2023

  • G-HOP: 交互重建和抓取合成的生成式手 - 物体先验模型

    我们提出了 G-HOP，一种基于去噪扩散的生成先验，用于手 - 物体交互，可以对 3D 物体和人手进行建模，并条件于物体类别。我们通过使用骨骼距离场来表示人手，从而得到与物体（潜在）有向距离场对齐的表示，学习一个可以捕捉这种联合分布的 3D 空间扩散模型。我们展示了这个手 - 物体先验可以作为通用指导，在交互裁剪的重建和人手抓取合成等其他任务中发挥作用。我们相信，我们的模型通过汇集 155 个类别的七个多样化的现实世界交互数据集进行训练，提供了一种联合生成手和物体的初次尝试。我们的实证评估表明，在基于视频的重建和人手抓取合成方面，这个联合先验具有超越当前任务特定基准的优势。

    Apr, 2024

  • InterGen: 复杂交互下基于扩散的多人运动生成

    本文提出了一种有效的扩散性方法 InterGen，通过考虑人与人之间的交互并将其融入到运动扩散过程中，使普通用户只需使用文本指导即可自定义高质量的两人互动动作。

    Apr, 2023

  • 基于扩散的自视角视频中手物交互预测

    我们提出了一种新的基于扩散的交互预测方法 Diff-IP2D，以非自回归的迭代方式同时预测未来的手轨迹和物体可供性，在预测过程中考虑了相机使用者的动态特征，实验证明我们的方法在 2D 手物交互预测方面优于现有的基线方法。

    May, 2024

  • 帮助扩散模型：改进条件人类图像生成的两阶段方法

    我们引入了一种新颖的姿势条件的人体图像生成方法，将生成过程分为两个阶段：手的生成和在手周围绘制身体。我们将手生成器训练在多任务设置中，以产生手图像及其相应的分割掩模，并将训练后的模型用于生成的第一阶段。然后，在第二阶段中使用改进的 ControlNet 模型来绘制生成的手周围的身体，产生最终的结果。我们引入了一种新颖的混合技术，在第二阶段中保留手部细节，以一种连贯的方式结合两个阶段的结果。实验评估证明了我们提出的方法在姿势准确性和图像质量上优于现有技术，在 HaGRID 数据集上得到验证。我们的方法不仅提高了生成手部的质量，还提供了对手势的改进控制，推进了姿势条件的人体图像生成的能力。

    Mar, 2024

  • HanDiffuser: 使用真实手表现生成文本 - 图像

    HanDiffuser 是一种基于扩散的新型架构，通过在生成过程中注入手部嵌入信息，生成具有逼真手部的图像。它包括两个组件：Text-to-Hand-Params 扩散模型用于从输入文本生成 SMPL-Body 和 MANO-Hand 参数，以及 Text-Guided Hand-Params-to-Image 扩散模型用于以先前组件生成的提示和手部参数为条件合成图像。我们在学习和推断期间综合考虑了手部表达的多个方面，包括 3D 形状、关节级手指位置、方向和屈伸状态，以实现稳健学习和可靠性能。我们进行了大量定量和定性实验，并进行了用户研究，证明了我们的方法在生成具有高质量手部的图像方面的有效性。

    Mar, 2024

  • DiffH2O: 通过扩散实现从文本描述到手物体交互的合成

    通过 DiffH2O 方法，从提供的文本提示和物体几何形状中合成真实的、单手或双手的物体交互，该方法通过手抓阶段和基于文本的交互阶段以及两种不同的引导方案实现了对生成动作的更多控制。

    Mar, 2024

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • HOIDiffusion: 生成真实的三维手物体交互数据

    利用 HOIDiffusion 方法生成了逼真且多样化的三维手物体交互数据，并将其用于学习 6D 物体位姿估计，提高感知系统的效果。

    Mar, 2024

  • Prompt-Propose-Verify: 一个可靠的基于基础模型的手 - 物互动数据生成框架

    通过以文本提示为条件的扩散模型，在人体特征如手部、牙齿等方面生成逼真的图像存在困难。我们假设通过用质量良好的标注数据克服扩散模型的这种缺陷。本文通过使用扩散模型改进手物互动图像生成，采集了一个经过精心注释的手物互动合成数据集，并在其上微调一个稳定的扩散模型。我们通过定性和定量指标（如 CLIPScore、ImageReward、Fedility 和对齐度）评估了图像 - 文本数据集，表现出明显优于当前最先进基准的性能。

    Dec, 2023