HiFiHR: 通过高保真纹理增强单张图像的三维手部重建

Aug, 2023

HiFiHR: 通过高保真纹理增强单张图像的三维手部重建

HiFiHR: Enhancing 3D Hand Reconstruction from a Single Image via High-Fidelity Texture

Jiayin Zhu, Zhuoran Zhao, Linlin Yang, Angela Yao

TL;DR我们提出了 HiFiHR，一种高保真度的手部重建方法，利用基于学习框架的单一图像的渲染和比较，能够生成视觉上逼真准确的三维手部网格，并恢复真实的纹理。我们的方法通过使用预定义纹理资产的参数化手部模型，并在训练过程中建立渲染图像和输入图像之间的纹理重建一致性，实现了优越的纹理重建结果。此外，通过在一个注释数据集上对网络进行预训练，我们运用自监督、弱监督和全监督等多种程度的监督方式，并讨论了学习到的高保真度纹理在增强手势和形状估计中的不同水平的贡献。在包括 FreiHAND 和 HO-3D 的公共基准测试上的实验证实，我们的方法在纹理重建质量方面优于最先进的手部重建方法，同时在姿势和形状估计方面保持可比的准确性。我们的代码可从此 https URL 获取。

Abstract

We present hifihr, a high-fidelity hand reconstruction approach that utilizes render-and-compare in the learning-based framework from a single image, capable of generating visually plausible and accurate

hifihr hand reconstruction 3d hand meshes texture reconstruction parametric hand model

发现论文，激发创造

基于纹理量化的高保真人脸反射率估计

本文介绍了一个新颖的面部 albedo 重建模型 HiFiAlbedo，通过使用廉价的纹理数据消除光照来直接从单个图像中恢复 albedo 图，并通过训练高保真面部纹理代码簿、微调纹理重建编码器和使用组标识损失学习纹理到 albedo 领域的自适应来实现高保真结果的实验验证。

Jun, 2024

利用 Transformers 進行三維手部重建

从单眼输入中重建 3D 手部，利用基于 Transformer 的 HaMeR 方法，通过大规模数据训练和深度网络容量的扩展，对手部进行精确且鲁棒性增强的分析，并在流行的 3D 手部姿势基准测试中始终优于先前基准线。

Dec, 2023

BiTT: 从单张图像中双向重建互动的双手纹理

通过双向纹理重建方法（BiTT），基于单个 RGB 图像实现对双手纹理的光照可重建、无姿态限制的个性化纹理重建，其结果在定量和定性实验证明优于现有方法。

Mar, 2024

重新识别监督纹理生成

本文提出了一种基于端到端学习策略的方法，利用行人重新识别作为感知度量，生成单张人体图像的纹理贴图，实验结果表明，我们的模型可以从单张图像中生成纹理贴图，并证明我们的纹理比其他可用方法生成的质量更高，我们还将应用范围扩展到其他类别，并探索了我们生成的纹理的可能利用途径。

Apr, 2019

从单目 RGB 图像恢复端到端的手部网格

本文提出了 HAnd Mesh Recovery (HAMR) 框架，通过参数化通用 3D 手模型的形状和相对 3D 关节角度，提供了更多表达和更有用的网格表示，该框架可从单个 RGB 图像重建人手的完整 3D 网格，并具有较好的表现。

Feb, 2019

使用 Transformer 从单张图像中估计三维人体纹理

本文提出了一种基于 Transformer 的框架，用于从单张图像中进行三维人体纹理估计，并通过 mask-fusion 策略和 part-style loss 来提高图像质量，实验结果表明该方法在 3D 人体纹理估计方面优于现有方法。

Sep, 2021

RenderIH: 一个用于 3D 交互式手势姿势估计的大规模合成数据集

为了提高手部姿势估计的准确性，研究提出了一个大规模的合成数据集 RenderIH，其中包含 100 万张具有不同背景、视角和手部纹理的逼真照片。为了生成自然和多样化的交互姿势，提出了一种新的姿势优化算法。而用于姿势估计的基于 Transformer 的模型 TransHand 则能够利用交互手部之间的相关性，并验证 RenderIH 在改善结果方面的有效性。经过实验证明，使用该合成数据集进行预训练可以显著将误差从 6.76mm 降至 5.79mm，并且 TransHand 在性能上超越了其他方法。

Sep, 2023

I2UV-HandNet：准确高保真的三维手部网格建模的图像到 UV 预测网络

本篇论文提出了一种基于 I2UV-HandNet 模型的 3D 手部姿态和形状估计方法，通过使用 UV 位置图像的低分辨率和高分辨率图像进行图像到图像转换来恢复 3D 手模型，成功实现了对手部形状的 UV 表示，在多个具有挑战性的数据集上，该方法的性能达到了最新水平。

Feb, 2021

FreiHAND：单张 RGB 图像无标记手势姿态和形状数据集

本研究介绍了一个大型多视角手部数据库，并提出了一种迭代的半自动方法，用于将三维手部姿势和形状标注应用于该数据库，以解决基于单个 RGB 图像的三维手部姿势估计的高度不确定性问题，并评估了模型的性能。

Sep, 2019

基于 UV 的三维手 - 物体重建与抓取优化

使用单个 RGB 图像提出一种新的框架，实现了 3D 手部形状重构和手 - 物体抓握优化，通过 UV 坐标映射的密集表示方法替代了以往稀疏点的接触区域近似，同时引入了推理时间优化来微调抓握，实现了更好的手部形状重构准确性和质感。在 Ho3D，FreiHAND 和 DexYCB 等数据集上进行的实验表明，我们的方法优于现有技术。

Nov, 2022