Jun, 2024

用于非正式单目视频新视角合成的动态高斯大理石

HTML
PDF
TL;DR通过引入DGMaebles方法，本研究在单目视频中扩展了Gaussian场景表示的能力，实现了新视角渲染和准确捕捉场景元素的三维运动，同时在质量上显著优于其他高斯基准，并与非高斯表示保持效率、合成能力、可编辑性和跟踪优势的水平。
发现论文，激发创造
  • 动态3D高斯：通过持久动态视图合成进行跟踪

    同时解决动态场景新视角合成和六自由度跟踪所有密集场景元素的方法，通过分析合成框架，模型化动态场景，并用于各种后续应用。

    Aug, 2023

  • 高保真单目动态场景重建的可变形三维高斯模型

    提出了一个使用可变形的3D高斯散射方法对动态场景进行重建和渲染，在实时渲染的速度和渲染质量方面优于现有方法。

    Sep, 2023

  • 高斯流：动态3D高斯粒子进行4D重建

    我们引入了高斯流（Gaussian-Flow），一种用于从多视图和单目视频中快速动态场景重建和实时渲染的新型基于点的方法。与以往基于NeRF的方法不同，这种方法利用了最新的基于点的3D高斯喷洒（3DGS）技术，通过引入新颖的双域变形模型（DDDM）来显式建模每个高斯点的属性变形，从而消除了为每个帧训练单独的3DGS或引入额外的隐式神经场来建模3D动态的需求。此外，对离散化高斯点进行显式变形建模确保了对4D场景的超快速训练和渲染，与用于静态3D重建的原始3DGS相当。我们的方法在效率上取得了显著的改进，训练速度比每帧3DGS建模快5倍，并且定量结果表明，我们提出的高斯流在新视图渲染质量上明显优于以往的主流方法。

    Dec, 2023

  • GauFRe：用于实时动态新视角合成的高斯变形场

    使用可变形3D高斯方法进行动态场景重建，将高斯飞溅效果扩展以适应通过多层感知器定义的时间相关变形场的可变形高斯集合的表示，同时使用静态高斯点云允许多层感知器集中其表示能力，最终优化得到与状态最前沿的动态神经辐射场方法相媲美且具有更快的优化和渲染速度。

    Dec, 2023

  • SC-GS：用于可编辑动态场景的稀疏控制高斯喷洒

    基于高斯散开技术的稀疏控制点和稠密高斯的运动与外观分解，用于动态场景的新视角合成。

    Dec, 2023

  • 实时动态视角合成的时空高斯特征喷洒

    提出了一种新的动态场景视图合成方法，通过引入时间、运动和旋转参数增强了三维高斯函数，使用神经特征进行渲染，同时在具有挑战性的区域中利用训练误差和粗略深度进行高分辨率、实时渲染，并保持紧凑存储。

    Dec, 2023

  • 4D高斯点绘制：用于动态场景高效新视图合成

    4D高斯喷洒是一种在动态场景下表示动态场景的新方法，通过时间切片和投影技术实现了对复杂运动和细节的建模，并在实时渲染方面取得了显著的效果和效率优势。

    Feb, 2024

  • 高斯流：基于高斯动力学的四维内容创建

    通过将高斯动态投射到图像空间中，我们引入了一个新的概念，高斯流，它连接了3D高斯和相邻帧之间的像素速度，从而实现了光流的直接动态监督，显著提高了4D动态内容生成和4D新视图合成的视觉质量，并解决了4D生成过程中常见的颜色移动问题。

    Mar, 2024

  • LoopGaussian: 通过欧拉运动场为多视角图像创建3D Cinemagraph

    通过使用3D高斯建模的LoopGaussian方法，将cinemagraph从2D图像空间提升到3D空间，并通过双向动画技术生成自然且无缝循环的3D Cinemagraph，实验结果验证了该方法的有效性和高质量的场景生成。

    Apr, 2024

  • 带有不确定性感知正则化的动态场景4D高斯溅射

    本研究解决了现有动态场景合成算法在处理真实世界录制的单目视频时的过拟合问题。我们提出了一种新的4D高斯溅射算法，并引入不确定性感知正则化，能够在不确定区域施加额外的先验知识，从而提高新视图合成及训练图像重建的性能。实验结果表明，该方法在手持单目摄像机捕获的视频重建中显著提升了性能，并在少量静态场景重建中表现出良好效果。

    Nov, 2024