Apr, 2024

OccGaussian：用于遮挡人体渲染的三维高斯粒子

PDF
TL;DR我们提出了基于 3D 高斯散射的 OccGaussian 方法，其可在 6 分钟内进行训练，并且以高质量 160FPS 渲染具有遮挡输入的人体场景。通过在标准空间中初始化 3D 高斯分布，并在遮挡区域进行遮挡特征查询，提取聚合的像素对齐特征来弥补丢失的信息，然后我们使用高斯特征 MLP 进一步处理特征，并结合面向遮挡区域的损失函数来更好地感知遮挡区域。大量的实验结果表明，我们的方法在模拟和真实世界遮挡场景中实现了与最先进方法相媲美甚至更优的性能，且训练和推理速度提高了 250 倍和 800 倍，我们的代码将提供给研究目的使用。
3d human renderingocclusionsurface renderinggaussian splattingreal-time interactive applications
发现论文，激发创造
  • OccFusion：利用生成扩散先验渲染被遮挡的人体

    利用高效的 3D 高斯喷粒方法，由预训练的 2D 扩散模型进行监督，提出了 OccFusion，一种用于高效和高保真度人体渲染的方法。通过三个阶段的流程，即初始化阶段、优化阶段和改进阶段，实现了对人体的完整渲染，并在实验中表现出了在渲染遮挡人物方面具有领先水平的性能。

    Jun, 2024

  • GauHuman: 单目人体视频的关节高斯粒子渲染

    GauHuman 是一个 3D 人体模型，通过高斯飞溅实现快速训练（1 ~ 2 分钟）和实时渲染（最高 189 FPS），与现有的基于 NeRF 的隐式表示建模框架相比，后者需要几个小时的训练和每帧几秒钟的渲染。

    Dec, 2023

  • 人体高斯扩散：可动化虚拟形象的实时渲染

    该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题，通过提出了基于三维高斯散点的可动态化的人体模型，相较于现有方法，在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR，并能以 20fps 或更高的速度进行渲染。

    Nov, 2023

  • 高斯体：三维高斯板片的衣着人物重建

    本研究提出了一种名为 GaussianBody 的新型服装人体重建方法，基于 3D 高斯散射模型。该方法通过显式姿势引导形变，引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明，该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果，同时还能明确地重建几何结构。

    Jan, 2024

  • 从物体遮挡的单目视频中渲染人类

    我们提出了一种新的神经渲染方法 OccNeRF，通过整合几何和可见性先验，实现了在严重遮挡场景中更好地渲染人类形象。我们验证了该方法在模拟和真实遮挡情况下的优越性。

    Aug, 2023

  • HUGS: 人类高斯斑点

    通过 3D 高斯模糊表示 animatable 的人物及其所在的场景，以实现对动画人物的新姿势合成和人物和场景的新视图合成，并在提高渲染质量的同时，训练速度更快。

    Nov, 2023

  • 高保真单目动态场景重建的可变形三维高斯模型

    提出了一个使用可变形的 3D 高斯散射方法对动态场景进行重建和渲染，在实时渲染的速度和渲染质量方面优于现有方法。

    Sep, 2023

  • Human101：从 1 个视角在 100 秒内训练 100+FPS 的人类高斯分布模型

    用 3D 高斯分布的先进技术在短时间内实现高保真度的动态 3D 人体重建，并提供实时渲染和交互能力。

    Dec, 2023

  • 猜测未见之物：从部分二维闪烁中动态三维场景重建

    通过单目视频输入的方法，本文提出了一种将世界和多个动态人物在 3D 中进行重构的方法，使用新兴的 3D 高斯涂布（3D-GS）表示法来表达世界和多个人物，解决了 3D 人物重构中常见的观测在 3D 空间中非常有限和稀疏的挑战，并演示了方法在各种具有挑战性的例子中可以重构出高质量的可动画 3D 人物，并且在重构后，该方法可以以任意时间片段渲染场景并编辑 3D 场景。

    Apr, 2024

  • EgoGaussian: 从第一人称视频中使用三维高斯喷射实现动态场景理解

    使用 EgoGaussian 方法，通过 RGB egocentric input 可以同时重建 3D 场景和动态跟踪 3D 物体运动，并在具有挑战性的自然环境中表现优于之前的方法。

    Jun, 2024