Apr, 2024

猜测未见之物：从部分二维闪烁中动态三维场景重建

PDF
TL;DR通过单目视频输入的方法，本文提出了一种将世界和多个动态人物在 3D 中进行重构的方法，使用新兴的 3D 高斯涂布（3D-GS）表示法来表达世界和多个人物，解决了 3D 人物重构中常见的观测在 3D 空间中非常有限和稀疏的挑战，并演示了方法在各种具有挑战性的例子中可以重构出高质量的可动画 3D 人物，并且在重构后，该方法可以以任意时间片段渲染场景并编辑 3D 场景。
3d reconstructionmonocular videodynamic humans3d-gs representationsparse observations
发现论文，激发创造
  • 运动感知的高斯点云成型在高效动态场景重建中的应用

    提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

    Mar, 2024

  • 建模环境场景动态以进行自由视角合成

    我们介绍了一种新颖的方法，可以从单目捕捉中进行动态自由视图合成，为观看体验带来沉浸感。我们的方法基于对复杂静态场景进行忠实重建的 3D 高斯点插值（3DGS）的最新进展。通过利用环境动力学的周期性来学习运动轨迹模型，并结合谨慎的正则化来克服以往将 3DGS 扩展到表示动态时遇到的局限性，这些局限性包括仅适用于有界场景或需要多摄像机捕捉，并且通常无法推广到未见过的运动，限制了它们的实际应用。我们还提出了一些重要的实用策略，以提高基线 3DGS 静态重建的视觉质量，并提高 GPU 内存密集学习的内存效率，展示了多个环境自然场景的高质量照片逼真的新视图合成，其中包含复杂的纹理和精细的结构元素。

    Jun, 2024

  • 实时照片级动态场景表达与渲染：基于四维高斯呈焦

    从 2D 图像中重建动态 3D 场景并随时间生成多样视角是一项具有挑战性的任务，本研究提出一种基于优化一组 4D 基元的方法，以近似表示动态场景的底层时空 4D 体积，通过特定的渲染程序，制造各种时间的新视角，该方法简单灵活，适用于捕捉复杂动态场景运动，实验结果在多个基准数据集上证明了其优秀的视觉质量和高效性。

    Oct, 2023

  • 高斯散角法：3D 重建与新景象合成综述

    图像基于的三维重建是一项具有挑战性的任务，涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术，包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述，包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会，对算法进行全面的研究至关重要。因此，本研究全面概述了高斯激波最新进展。

    May, 2024

  • 高保真单目动态场景重建的可变形三维高斯模型

    提出了一个使用可变形的 3D 高斯散射方法对动态场景进行重建和渲染，在实时渲染的速度和渲染质量方面优于现有方法。

    Sep, 2023

  • 通过三维高斯光斑重构视频增强视频编辑的时间一致性

    Video-3DGS 是一种基于 3D 高斯雾化技术改进的视频编辑器，旨在增强零痕编辑中的时间一致性，并通过在两个阶段利用三维高斯进行视频重构和编辑来展示其有效性。

    Jun, 2024

  • 高斯体：三维高斯板片的衣着人物重建

    本研究提出了一种名为 GaussianBody 的新型服装人体重建方法，基于 3D 高斯散射模型。该方法通过显式姿势引导形变，引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明，该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果，同时还能明确地重建几何结构。

    Jan, 2024

  • SparseFusion: 从稀疏 RGBD 图像动态建模人类形象

    本文提出了一种新方法，基于一个稀疏的 RGBD 相机捕获集合来重建 3D 人体模型，重点解决拍摄过程中的姿态变化和遮挡问题，并使用全局非刚性注册和纹理映射优化等步骤来实现。通过实验证明，该方法的性能优异，且具有灵活性和多种潜在应用。

    Jun, 2020

  • GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

    本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

    Nov, 2023

  • 基于双视角帧的复杂动态场景单目稠密三维重建

    本文提出了一种新的单目密集三维重建方法，利用超像素过分割模拟动态场景，并减少结构运动中固有的相对尺度模糊问题。经实验表明，该方法在合成和真实单目序列方面相对优于业界最先进的方法。

    Aug, 2017