Dec, 2023

实时动态手部重建的三维点云投影

PDF
TL;DR我们提出了一种实时且真实感十足的手部重建方法，称为 3D Points Splatting Hand Reconstruction（3D-PSHR）。我们通过自适应规范点上采样策略实现了高分辨率的手部几何表示，同时提出了一种自适应变形方法，将手部从规范空间变形到目标姿势，适应规范点的动态变化，这种方法相比于常见的 MANO 模型细分，具有更大的灵活性和更好的几何拟合效果。为了建模纹理，我们将外观颜色分解为内在的颜色和姿势感知的阴影，并通过上下文关注模块进行学习。此外，我们的方法允许在端到端的方式下同时训练几何和外观模型。我们通过多个数据集展示了我们的方法能够产生可动画的、逼真的、可重新照明的手部重建结果，包括用手持智能手机捕捉的单目视频和包含多种手部姿势的大规模多视角视频。同时，我们还证明了我们的方法在实时渲染速度方面保持卓越性能，优于现有的最先进方法。
3d-pshrhand reconstructiongeometry representationtexture modelingreal-time rendering
发现论文，激发创造
  • 克服三维手形重建中准确度与真实性之间的权衡

    本研究介绍了一种弱监督手部形状估计框架，它将非参数网格拟合与 MANO 模型在端到端的方式中集成起来，克服了准确性和可信度之间的折衷，特别是在具有挑战性的双手和手 - 物体交互场景中产生了对齐良好、高质量的 3D 网格。

    May, 2023

  • 基于模型的自监督学习实现的 3D 手部重建

    本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

    Mar, 2021

  • 通过自监督学习实现视频中一致的 3D 手部重建

    提出了一种通过自监督学习从单目视频中重构 3D 手部模型的方法，利用 2D 手部关键点和图像纹理约束进行姿态、形状、纹理、相机视角的估计，达到与全监督方法相似的重构性能，尤其是在视频训练数据下可以显著提高重构精度和一致性。

    Jan, 2022

  • 实时三维手部网格重建中的精准对齐

    该论文提出了一种基于三个阶段的新型流程，通过联合阶段、网格阶段和细化阶段，实现准确的手部姿势和形状的 3D 网格重建，从而达到较高的手 - 图像对齐精度和实时性。该流程在基准数据集上具有优越的结果，证明了其高质量的手 - 网格 / 姿态预测和图像对齐性能。

    Sep, 2021

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • 具身之手：一体化建模和捕捉手和身体

    本研究提出了一种全新的手部模型（MANO），并使用 MANO 模型，结合标准化的人体三维模型（SMPL）构建了一个全身可动态捕捉的模型（SMPL+H），实现了复杂的人体动作捕捉并保持高度真实性。

    Jan, 2022

  • 人体高斯扩散：可动化虚拟形象的实时渲染

    该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题，通过提出了基于三维高斯散点的可动态化的人体模型，相较于现有方法，在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR，并能以 20fps 或更高的速度进行渲染。

    Nov, 2023

  • MLPHand：基于 MLP 建模的多视角实时三维手部网格重建

    研究提出了 MLPHand，一种用于实时多视图单手重建的新方法。MLPHand 包含两个主要模块：轻量级的基于 MLP 的 Skeleton2Mesh 模型，以及使用多视图几何特征融合预测模块增强 Skeleton2Mesh 模型。实验表明，MLPHand 可以在保持与现有最先进方法相当的重建准确性的同时，将计算复杂度减少 90%。

    Jun, 2024

  • 可变形的 3D 高斯喷洒技术用于可动式人型角色模型

    通过引入参数驱动的动力学到三维高斯喷点，本研究提出了一种完全明确的方法来由单一单眼序列构建数字化角色，并使用栅格化器合成图像。该方法无需额外注释并且能在消费硬件上高效推断全分辨率图像，实验证明其在数据集上在定量和视觉上均优于现有的技术。

    Dec, 2023

  • MobRecon：从单目图像中重建手部网格模型的移动设备友好算法

    提出了一种单视图手部网格重建框架，采用 2D 编码和 3D 解码，结合了轻量级有效的堆叠结构和深度可分螺旋卷积的高精度和高速度，并通过特征提升模块实现 2D 和 3D 表示之间的桥梁。实验证明，该框架达到了优越的重建精度和时间上的一致性，具有超高的推理速度。

    Dec, 2021