Vista3D：揭示单张图像的3D隐秘
DreamCraft3D是一个层次化的3D内容生成方法，通过使用2D参考图像来引导几何雕刻和纹理增强的阶段，解决了现有方法遇到的一致性问题，使用得分蒸馏采样和视角相关的扩散模型来生成一致的几何体，并通过训练个性化的扩散模型来提高纹理质量，最终生成具有逼真渲染效果的连贯的3D对象。
Oct, 2023
基于高斯喷射的文本到三维内容生成框架，通过控制高斯球的透明度实现更真实的图像生成；通过引入多视角噪声分布矫正多视角几何中的不一致性；使用变分高斯喷射技术提高三维外观的质量和稳定性。
Nov, 2023
我们介绍了pixelSplat，这是一个前馈模型，可以从图像对中学习重建由3D高斯基元参数化的3D辐射场。我们的模型具有实时和内存高效的渲染，可进行可扩展训练和快速3D重建。为了克服稀疏和局部表示固有的局部最小值问题，我们预测了3D上的密集概率分布，并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分，从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的RealEstate10k和ACID数据集上对我们的方法进行了广泛的基线新视角合成基准测试，表明我们在重建可解释和可编辑的3D辐射场时，胜过现有最先进的光场转换器，并且加快了渲染速度2.5个数量级。
Dec, 2023
通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。
Feb, 2024
通过引入FDGaussian，我们提出了一种新颖的两阶段单图像3D重建框架，利用直接平面分解机制从二维输入中提取三维几何特征，实现生成一致的多视角图像，并结合对极注意力进一步加速高质量的三维对象重建。
Mar, 2024
通过使用三维高斯图案生成器更新辐射场，本研究论文解决了对象去除的复杂挑战，主要挑战在于在高斯图案的离散性质中保持几何一致性和纹理协调性。通过优化高斯图案的定位以提高去除区域和可见区域的几何一致性，再结合跨注意力设计的新颖特征传递机制来增强纹理协调性，该创新方法在最终辐射场中显著提高了纹理协调性。广泛的实验证实了我们的方法不仅提升了对象去除场景的新视图合成质量，而且在训练和渲染速度上也具有显著的效率提升。
Apr, 2024
通过矩阵和张量分解技术，我们提出了一种新方法，即因式化三维高斯粒子点描（F-3DGS），通过高效的因式化，大大减少了存储需求，同时保持了渲染图像的质量。
May, 2024
本研究提出了一种名为Splatt3R的方法，针对从非校准的立体图像对中进行3D重建与新视角合成的挑战，消除了对相机参数和深度信息的依赖。该方法通过优化3D点云几何损失并引入新视角合成目标，从而避免了训练3D高斯喷溅时的局部最小值问题，这一创新显著提高了在自然图像中的泛化能力和性能。研究表明，Splatt3R可以以512 x 512分辨率以4FPS的速度重建场景，并实现实时渲染。
Aug, 2024
本文提出了Splatt3R，一种无姿态、前馈的方法用于野外3D重建和新视角合成，解决了从未校准自然图像中直接预测3D高斯喷溅的问题。该方法在MASt3R的基础上进行扩展，能够同时处理3D结构和外观，相比传统方法，避免了训练3D高斯喷溅时的局部最小值。实验结果表明，Splatt3R在未校准图像上的泛化性能优异，且可实现实时渲染。
Aug, 2024