OneTo3D: 一张图像转为可重新编辑的动态 3D 模型与视频生成
提出了一种高效的视频到 4D 对象生成框架 Efficient4D,能够在连续的摄像机轨迹下实时渲染高质量的时空一致图像,通过直接训练具有明确点云几何结构的新颖 4D 高斯涂层模型,大大提升了速度,同时保持创新视角合成质量。
Jan, 2024
该研究提出了一种新的方法,使用单个图像进行 3D 重建,生成了一个完整的 360 度 3D 纹理网格,改进于现有方法,具有更好的几何形状和一致性。
Jun, 2023
我们介绍了 Unique3D,这是一种新颖的图像到 3D 框架,能够高效生成高质量的 3D 网格,具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。
May, 2024
我们提供了一个文本转 3D 360 度场景生成流水线,能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像,这作为一个初步的 “平面”(2D)场景表示。随后,通过采用粒子技术将它提升到 3D 高斯函数,以实现实时浏览。为了产生一致的 3D 几何结构,我们的流水线通过将 2D 单目深度对齐成全局优化点云,构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题,我们对合成和输入相机视图应用语义和几何约束作为规范,这些约束指导高斯函数的优化,帮助重建不可见的区域。总之,我们的方法提供了一个全局一致的 360 度视角的 3D 场景,相较于现有技术提供了更加增强的沉浸式体验。项目网址:this http URL
Apr, 2024
通过单目视频输入的方法,本文提出了一种将世界和多个动态人物在 3D 中进行重构的方法,使用新兴的 3D 高斯涂布(3D-GS)表示法来表达世界和多个人物,解决了 3D 人物重构中常见的观测在 3D 空间中非常有限和稀疏的挑战,并演示了方法在各种具有挑战性的例子中可以重构出高质量的可动画 3D 人物,并且在重构后,该方法可以以任意时间片段渲染场景并编辑 3D 场景。
Apr, 2024
通过增加用户交互能力,我们引入了 Interactive3D 框架,使得用户能够精确控制 3D 生成过程,从而显著提高 3D 生成的可控性和质量。
Apr, 2024
这篇论文提出了一种创新的方法 One-2-3-45++,可以在大约一分钟内将单张图像转化为详细的 3D 纹理网格,通过利用二维扩散模型的知识和有限的三维数据的先验信息,该方法能够快速生成高质量、多样化且与原始输入图像紧密相似的 3D 模型。
Nov, 2023
图像基于的三维重建是一项具有挑战性的任务,涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术,包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述,包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会,对算法进行全面的研究至关重要。因此,本研究全面概述了高斯激波最新进展。
May, 2024
Video-3DGS 是一种基于 3D 高斯雾化技术改进的视频编辑器,旨在增强零痕编辑中的时间一致性,并通过在两个阶段利用三维高斯进行视频重构和编辑来展示其有效性。
Jun, 2024
基于视频扩散模型和几何一致性先验的自动生成方法在 3D 生成方面取得了很大突破,能够生成高质量的网格和 3D 高斯帧,并且在场景级别的新视角合成方面取得了优越的性能表现。
Mar, 2024