Repaint123:高质量的快速一图生成 3D 技术,具有渐进可控 2D 再绘制
在本文中,我们通过考虑视频生成器,使用高斯喷洒的 3D 重建算法,减少 2D 生成器网络的评估次数 10-100 倍,实现更高效的处理管道,提供更高质量、更少几何不一致性和更多可用的 3D 资源。
Feb, 2024
这篇论文提出了一种创新的方法 One-2-3-45++,可以在大约一分钟内将单张图像转化为详细的 3D 纹理网格,通过利用二维扩散模型的知识和有限的三维数据的先验信息,该方法能够快速生成高质量、多样化且与原始输入图像紧密相似的 3D 模型。
Nov, 2023
本文介绍了一种新颖的粗细生成框架 Paint3D,它能根据文本或图像输入,为未纹理化的 3D 网格生成高分辨率、无光照且多样化的 2K UV 纹理贴图。该方法通过利用预训练的深度感知 2D 扩散模型生成视图条件图像,并进行多视图纹理融合,得到初步的粗糙纹理贴图。然后,通过训练专门用于修复不完整区域和消除光照伪影的 UV 修复和 UVHD 扩散模型,解决了粗糙纹理贴图中的不完整区域和光照伪影问题。通过这一粗细过程,Paint3D 能够生成保持语义一致性且无光照的高质量 2K UV 纹理,从而显著推动了 3D 物体纹理制作的现状技术。
Dec, 2023
该研究提出了一种新的方法,使用单个图像进行 3D 重建,生成了一个完整的 360 度 3D 纹理网格,改进于现有方法,具有更好的几何形状和一致性。
Jun, 2023
使用可微分渲染和 3D 推理相结合的自回归建模方法,实现了单幅图像的大视角高度一致性生成,比其他方法在视图生成和 3D 一致性方面具有显著的改进。
Aug, 2021
我们介绍了 Unique3D,这是一种新颖的图像到 3D 框架,能够高效生成高质量的 3D 网格,具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。
May, 2024
使用稀疏射线采样方法通过关键点监督,实现了在当前管道中显式注入来自检索参考对象的 3D 先验,以确保高质量和多样化的 3D 几何,同时保持 2D 扩散模型的生成质量和多视角一致性。
Mar, 2024
基于扩散的文本到图像模型引起了视觉社区、艺术家和内容创作者的极大关注。通过将预训练的 2D 扩散模型和标准的 3D 神经辐射场作为独立的工具结合起来,我们展示了它们在非学习的方式上相互配合的能力。
Sep, 2023
我们提出了一种新颖的方法,用于从多个图像中进行 3D 物体表面重建,其中只捕获了物体的一部分。我们的方法基于两个最新发展:使用神经辐射场进行表面重建,用于重建表面的可见部分,以及使用预训练的 2D 扩散模型的指导(SDS)完成未观察到的区域的形状。我们引入了三个组件:首先,建议使用法线图作为 SDS 的纯几何表示,而不是与外观信息交织在一起的颜色渲染。其次,我们在训练过程中使 SDS 噪声保持固定,这会导致更一致的梯度和更好的收敛性。第三,我们提出了多视角 SDS 作为一种在不对底层 2D 稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在 BlendedMVS 数据集上对我们的方法进行评估,结果显示相比竞争方法,我们取得了显著的定量和定性改进。
Dec, 2023
通过使用两阶段的方法 —— 首先使用精调的 2D 文本到图像扩散模型一次性生成稀疏一致的四个结构化视图,然后利用一种新颖的基于 Transformer 的稀疏视图重构器直接回归生成的图像的 NeRF—— 我们提出了 Instant3D,一种新颖的方法,以前馈方式从文本提示中生成高质量、多样化的 3D 资产。通过大量实验证明,我们的方法可以在 20 秒内生成高质量、多样化且无 Janus 问题的 3D 资产,比之前需要 1 到 10 小时的基于优化的方法快两个数量级。
Nov, 2023