深度几何矩促进文本到3D生成中的形状一致性
一种称为Consist3D的三级框架，用于单视图图像到三维生成，包括语义、几何和饱和度一致性的追踪，通过学习参数化一致性令牌和优化阶段，实现更加一致、真实和照片逼真的三维效果。
Sep, 2023
当前的文本生成3D方法在建模NeRF时使用了预训练扩散模型，能够生成高质量的3D场景。本文介绍了T^3Bench，第一个包含不同复杂级别的文本提示的全面的文本生成3D基准测试。我们提出了基于多视角图像和文本内容的两个自动度量标准来评估主观质量和文本与3D的一致性。基准测试结果显示了六种主流文本生成3D方法之间的性能差异，并凸显了当前方法在生成环境和多物体场景以及利用2D指导进行3D生成方面的共同困难。
Oct, 2023
通过分析分数蒸馏抽样（SDS）及其变体，我们发现其蒸馏抽样过程实际上对应于随机微分方程（SDE）的轨迹抽样，这启发我们提出了一种新颖有效的“Consistent3D”方法，该方法通过确定性抽样先验来进行文本到三维生成。实验结果表明，Consistent3D在生成高保真度和多样性的三维物体和大规模场景方面具有很高的效能。
Jan, 2024
本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID降低30%，KID降低37%）。
Mar, 2024
使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的3D先验，以确保高质量和多样化的3D几何，同时保持2D扩散模型的生成质量和多视角一致性。
Mar, 2024
通过几何引导的高斯喷洒方法，DreamPolisher在从文本描述中学习跨视图一致性和复杂的细节，通过两阶段的基于高斯喷洒的方法进行几何一致性的优化和文本细节的改进，有效地生成与文本指令语义紧密相关的一致而真实的3D对象。
Mar, 2024
提出了一种基于姿态相关性蒸馏采样（PCDS）的扩散式三维生成任务的新目标，其通过最小采样步骤（1-3）建立了在扩散轨迹内的姿态相关性函数，以近似真实梯度，并通过粗到细的优化策略实现高质量的三维物体生成。
Jun, 2024
通过引入GSD框架，将三维一致性和几何意识融入SDS过程，该方法显著提高了性能，在文本到三维生成任务中成功解决了几何不一致性问题，并与现有的基于分值蒸馏的模型兼容。
Jun, 2024
提出了一种新的Score Distillation Sampling（SDS）范式，即Joint Score Distillation（JSD），可以确保一致的3D生成，并通过引入能量函数捕捉扩散模型中去噪图像的连贯性来推导多个呈现视图上的联合评分蒸馏。通过引入Geometry Fading方案和Classifier-Free Guidance Switching策略来增强生成细节，其在文本到3D生成中取得了杰出结果，达到88.5％的CLIP R-Precision和27.7％的CLIP Score，展现出卓越的文本一致性、出色的几何一致性和纹理保真度。
Jul, 2024