Jun, 2024
LRM-Zero：使用合成数据训练大型重建模型
LRM-Zero: Training Large Reconstruction Models with Synthesized Data
TL;DR我们提出了LRM-Zero，它是一个完全基于合成3D数据进行训练的大型重建模型，可以实现高质量的稀疏视角3D重建。LRM-Zero的核心是我们的程序化3D数据集Zeroverse，它是通过简单的基本形状进行自动合成，并进行随机纹理和增强处理（例如，高度场、布尔差异和线框）。与前期的3D数据集（例如Objaverse）不同，Zeroverse完全忽略了现实全局语义，但在复杂的几何和纹理细节上与真实物体局部相似甚至更加复杂。我们证明了我们的LRM-Zero，在使用我们完全合成的Zeroverse进行训练时，可以在重建真实世界对象方面达到与使用Objaverse训练的模型竞争性的高视觉质量。我们还分析了对于LRM-Zero的能力和训练稳定性有贡献的Zeroverse的几个关键设计选择。我们的工作表明，作为3D视觉的核心任务之一，可能可以不考虑真实世界物体的语义来解决3D重建问题。Zeroverse的程序化合成代码和交互式可视化可在此URL中获取。