Jun, 2024

HumanSplat: 结构先验的适用于单一图像的通用人类高斯扩散

PDF
TL;DRHumanSplat 通过在单个输入图像中预测任何人类的三维高斯 Splatting 属性，以解决高度精确的人体重建技术在广泛场景中受限于图像密集捕获要求或耗时的单例优化的问题。它由 2D 多视角扩散模型和具有人体结构先验的潜在重建转换器组成，巧妙地将几何先验和语义特征融入统一框架内。进一步设计了一种包含人体语义信息的分层损失，以实现高度逼真的纹理建模并更好地约束估计的多个视角。在标准基准和野外图像上的综合实验证明 HumanSplat 在实现逼真的新视图合成方面超越了现有最先进的方法。
high-fidelity human reconstruction techniques3d gaussian splattingsingle input imagegeometric priorsphotorealistic novel-view synthesis
发现论文，激发创造
  • HumanGaussian：基于文本驱动的高斯点绘制的 3D 人体生成

    基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian，通过结构感知的 SDS 和退火负向提示引导，以及适应性高斯喷洒渲染器，在细节和训练时间方面取得了优越的性能。

    Nov, 2023

  • 人体高斯扩散：可动化虚拟形象的实时渲染

    该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题，通过提出了基于三维高斯散点的可动态化的人体模型，相较于现有方法，在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR，并能以 20fps 或更高的速度进行渲染。

    Nov, 2023

  • GauHuman: 单目人体视频的关节高斯粒子渲染

    GauHuman 是一个 3D 人体模型，通过高斯飞溅实现快速训练（1 ~ 2 分钟）和实时渲染（最高 189 FPS），与现有的基于 NeRF 的隐式表示建模框架相比，后者需要几个小时的训练和每帧几秒钟的渲染。

    Dec, 2023

  • 单视角图像中的可推广人类高斯模型

    从单幅图像中学习可推广的三维人体高斯模型，通过扩散引导的三维人体建模框架，结合几何先验和注意机制，有效地恢复细节几何形状和外观，并具备在自然环境中的强大泛化能力。

    Jun, 2024

  • FreeSplat: 室内场景的自由视角综合的通用化三维高斯点采样

    通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略，我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat，研究结果表明其在不同数量的输入视图下，在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平，并且 FreeSplat 的推断效率更高，能够有效减少冗余的高斯函数，为无需深度先验的大场景重建提供了可能。

    May, 2024

  • 高斯体：三维高斯板片的衣着人物重建

    本研究提出了一种名为 GaussianBody 的新型服装人体重建方法，基于 3D 高斯散射模型。该方法通过显式姿势引导形变，引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明，该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果，同时还能明确地重建几何结构。

    Jan, 2024

  • HUGS: 人类高斯斑点

    通过 3D 高斯模糊表示 animatable 的人物及其所在的场景，以实现对动画人物的新姿势合成和人物和场景的新视图合成，并在提高渲染质量的同时，训练速度更快。

    Nov, 2023

  • SplatFace: 高斯分布面面片重建及其可优化表面

    本文提出了一种新颖的高斯状喷洒框架 SplatFace，它用于无需准确的预定义几何形状进行 3D 人脸重建。该方法同时提供高质量的新视角渲染和精确的 3D 网格重建，通过引入通用的 3D 可塑模型（3DMM）来提供表面几何结构，从而使得以有限的图片集合进行人脸重建成为可能。作者提出了一种联合优化策略，通过协同非刚性对准过程来改善高斯函数和可塑性表面。还提出了一种新的距离度量方法，即喷洒 - 表面距离，通过考虑高斯位置和协方差来改善对准。利用表面信息还用于引入世界空间的稠密化过程，从而获得更好的重建质量。实验分析表明，该方法在新视角合成的高斯状喷洒技术和 3D 重建方法中均具有竞争力，能够生成具有高几何精度的 3D 人脸网格。

    Mar, 2024

  • pixelSplat: 基于图像对的 3D 高斯扩散颗粒的可扩展通用 3D 重建

    我们介绍了 pixelSplat，这是一个前馈模型，可以从图像对中学习重建由 3D 高斯基元参数化的 3D 辐射场。我们的模型具有实时和内存高效的渲染，可进行可扩展训练和快速 3D 重建。为了克服稀疏和局部表示固有的局部最小值问题，我们预测了 3D 上的密集概率分布，并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分，从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的 RealEstate10k 和 ACID 数据集上对我们的方法进行了广泛的基线新视角合成基准测试，表明我们在重建可解释和可编辑的 3D 辐射场时，胜过现有最先进的光场转换器，并且加快了渲染速度 2.5 个数量级。

    Dec, 2023

  • SplatArmor：来自单目 RGB 视频的可动人体的关节高斯样贴片渲染

    我们提出了一种名为 SplatArmor 的新方法，通过在 3D 高斯函数中将参数化的人体模型 “装甲”，从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的 3D 高斯函数，其关节扭曲通过在规范空间内任意位置扩展底层 SMPL 几何体的蒙皮来定义。为了考虑姿势相关效果，我们引入了一个 SE (3) 场，允许捕捉高斯函数的位置和各向异性。此外，我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的 3D 监督。我们通过展示 ZJU MoCap 和 People Snapshot 数据集上的令人信服的结果，证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法，它利用了不可区分性和优化挑战，而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮，并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。

    Nov, 2023