Nov, 2023

LucidDreamer:基于区间评分匹配的高保真度文本到3D的生成方案

TL;DR最近关于文本到3D生成的进展在生成模型中取得了重要的里程碑,为在各种现实场景下创建富有想象力的3D资产开辟了新的可能性。然而,尽管最近的文本到3D生成方法显示出一定的潜力,但它们在呈现详细和高质量的3D模型方面常常表现不佳。本文识别了Score Distillation Sampling方法中的一个显著缺陷,即它为3D模型提供了不一致且低质量的更新方向,从而导致过度平滑效果。为了解决这个问题,我们提出了一种新颖的方法,称为Interval Score Matching。ISM采用确定性扩散轨迹,并利用基于区间的分数匹配来抵消过度平滑。此外,我们将3D高斯喷洒技术引入我们的文本到3D生成流程。大量实验证明我们的模型在质量和训练效率方面大大优于现有方法。