Nov, 2023

HandRefiner: 基于扩散的条件修复技术对生成图像中的畸形手进行修复

PDF
TL;DR我们的研究引入了一种轻量级的后处理方案 HandRefiner，通过一种条件修复方法来纠正生成图像中畸形的手部，同时保持图像其他部分的原貌。我们利用手部网格重建模型，确保生成图像中手指数量和手部形状正确，同时可以适应所期望的手部姿态。通过利用控制网络模块将正确的手部信息重新注入到生成失败的图像中，我们改进了手部生成的质量。实验证明，HandRefiner 能够在定量和定性方面显著提高生成质量。
diffusion modelshand generationhandrefinerconditional inpaintingcontrolnet modules
发现论文，激发创造
  • 帮助扩散模型：改进条件人类图像生成的两阶段方法

    我们引入了一种新颖的姿势条件的人体图像生成方法，将生成过程分为两个阶段：手的生成和在手周围绘制身体。我们将手生成器训练在多任务设置中，以产生手图像及其相应的分割掩模，并将训练后的模型用于生成的第一阶段。然后，在第二阶段中使用改进的 ControlNet 模型来绘制生成的手周围的身体，产生最终的结果。我们引入了一种新颖的混合技术，在第二阶段中保留手部细节，以一种连贯的方式结合两个阶段的结果。实验评估证明了我们提出的方法在姿势准确性和图像质量上优于现有技术，在 HaGRID 数据集上得到验证。我们的方法不仅提高了生成手部的质量，还提供了对手势的改进控制，推进了姿势条件的人体图像生成的能力。

    Mar, 2024

  • RHanDS: 用解耦的结构和风格指导来改善生成图像中的畸形手部

    通过使用条件扩散框架来改善手部结构及风格一致性问题，本文提出了一种基于扩散的手部细化框架 RHanDS，利用解耦的结构和风格引导对手部区域进行优化，评估结果显示 RHanDS 可以有效地改善手部结构和风格问题。

    Apr, 2024

  • 稳定扩散生成图像中非标准手势的检测与修复

    我们介绍了一种处理稳定扩散生成的手部图像中解剖学不准确性的流程。我们首先构建了一个专门针对手部异常的数据集，以有效训练我们的模型。一个经过微调的检测模型对这些异常的精确定位至关重要，确保了有针对性的修正。身体姿势估计有助于理解手部的方向和位置，对精确的异常修正非常重要。ControlNet 和 InstructPix2Pix 的集成分别实现了复杂的修复和像素级变换。这种双重方法可以进行高保真度的图像调整。这种全面的方法确保生成的图像具有解剖学准确的手部，与真实世界的外观非常接近。我们的实验结果证明了该流程在增强 Stable Diffusion 输出中手部图像逼真度方面的有效性。我们在此 https 网址提供了在线演示。

    Dec, 2023

  • HanDiffuser: 使用真实手表现生成文本 - 图像

    HanDiffuser 是一种基于扩散的新型架构，通过在生成过程中注入手部嵌入信息，生成具有逼真手部的图像。它包括两个组件：Text-to-Hand-Params 扩散模型用于从输入文本生成 SMPL-Body 和 MANO-Hand 参数，以及 Text-Guided Hand-Params-to-Image 扩散模型用于以先前组件生成的提示和手部参数为条件合成图像。我们在学习和推断期间综合考虑了手部表达的多个方面，包括 3D 形状、关节级手指位置、方向和屈伸状态，以实现稳健学习和可靠性能。我们进行了大量定量和定性实验，并进行了用户研究，证明了我们的方法在生成具有高质量手部的图像方面的有效性。

    Mar, 2024

  • DiffHand: 基于扩散模型的端到端手部网格重建

    利用一种基于扩散的手部三维网格重建框架 ——DiffHand，利用噪声模拟中间手网格的不确定性分布进行渐进式去噪过程，设计跨模态解码器来更好地模拟手顶点的连通性，从而达到优于先前方法 5.8mm PA-MPJPE 的最优表现。

    May, 2023

  • 生成模型的带注释手部数据

    通过在训练图像中增加三个额外通道，我们提出了一种新的生成模型训练框架，大大提高了生成模型创建手图像的能力。我们通过在合成手图像数据集和包含手部的真实照片上展示了这种方法，并通过使用现成的手部检测器对指关节识别的置信度提高来衡量生成手部图像的质量改进。

    Jan, 2024

  • 基于图像的三维手部姿态估计的去噪扩散

    本文提出了一个新颖的端到端框架，用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层，我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块，我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。

    Aug, 2023

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • 通过草图细化实现交互式图像修复

    提出了一种名为 SketchRefiner 的双阶段图像修复方法，旨在有效利用手绘线描信息以及通过交叉相关损失函数对其进行校准和优化，从而消除由于自由线描造成的伪影和失真，并提高修复质量。

    Jun, 2023

  • InterHandGen: 基于级联逆向扩散的双手交互生成

    我们提出了 InterHandGen，这是一个学习两只手相互作用生成先验的新框架。通过从我们的模型进行抽样，可以产生合理且多样化的双手形状，可以与或没有对象进行近距离交互。我们的先验可以整合到任何优化或学习方法中，以减少在不适定设置中的歧义。我们的关键观察是，直接建模多个实例的联合分布由于其组合性质而具有很高的学习复杂度。因此，我们建议将联合分布的建模分解为对事实单独实例分布的无条件建模和条件建模。我们介绍了一个扩散模型，它通过条件丢弃来学习单手分布的无条件和有条件性。在抽样方面，我们结合了防穿透和无分类器指导，以实现合理的生成。此外，我们建立了严格的两只手合成评估协议，在可信度和多样性方面，我们的方法明显优于基准生成模型。我们还证明，我们的扩散先验可以提高从野外单目图像中重建两只手的性能，达到新的最高准确度。

    Mar, 2024