Dec, 2021

Text2Mesh: 文本驱动的网格神经风格化

PDF
TL;DR本文提出 Text2Mesh 算法，通过基于神经网络的颜色预测和本地几何细节预测实现对三维网格的样式编辑，使用 disentangled 表示法来对三维物体进行处理，无需预先训练的生成模型或特殊三维网格数据集，可以合成各种样式的三维网格。
3d objectstext2meshneural style field networkclipstyle synthesis
发现论文，激发创造
  • 3DStyleGLIP：面向部分的文本引导的 3D 神经风格化

    介绍了一种基于文本驱动的、部分定制的 3D 风格化的新方法 3DStyleGLIP，该方法利用 Grounded Language-Image Pre-training (GLIP) 模型的视觉 - 语言嵌入空间来定位 3D 模型的各个部分，并按照文本提示中指定的风格修改它们的颜色和局部几何形状，通过在 GLIP 的嵌入空间中使用部分级风格损失和两种补充学习技术，有效地训练了 3DStyleGLIP，实验证实了该方法在部分级别的风格化任务上取得了显著成果，显示出推动 3D 风格化领域发展的潜力。

    Apr, 2024

  • 使用预训练的图文模型从文本生成带纹理的三维模型

    基于预训练的 CLIP 模型，我们提出了一种从输入的文本提示中生成 3D 模型的零样本生成技术。通过对网格参数的优化，我们可以直接生成形状、纹理或两者，而无需进行培训。

    Mar, 2022

  • 3DStyle-Diffusion：使用 2D 扩散模型追求细粒度基于文本的 3D 风格化

    通过结合 CLIP 和 2D Diffusion 模型，我们提出了一种新的 3DStyle-Diffusion 模型，能够在文本驱动的几何和外观引导下，实现对 3D 网格的细粒度样式化。

    Nov, 2023

  • Mesh2Tex: 从图像查询生成网格纹理

    Mesh2Tex 使用一种混合网格神经场纹理表示法，从未相关的三维物体几何和照片逼真的 RGB 图像的集合中学习出真实的物体纹理流形，以生成适用于下游应用和 3D 渲染的纹理对象，并可以在具有挑战性的真实世界场景下有效地生成逼真的物体纹理。

    Apr, 2023

  • Text2Scene：基于文本的室内场景风格化与局部细节

    通过引用图像和文本描述，我们提出了一种名为 Text2Scene 的方法，可以自动创建由多个物体组成的虚拟场景的逼真纹理，这种方法在房间的标记三维几何体上增加了详细纹理，使生成的颜色尊重经常由类似材料组成的分层结构或语义部分。

    Aug, 2023

  • CLIP3Dstyler: 语言引导的 3D 任意神经风格迁移

    本文提出了一种新的基于语音指导的三维任意神经风格转移方法，通过改进方案解决了传统 2D 和 3D 方法不能解决的问题，匹配点云和语音的不同特征，并提高文本风格可辨别性，在多个场景下实现了高效的风格迁移。

    May, 2023

  • Dream-in-Style: 使用风格化得分蒸馏的文本到 3D 生成

    通过输入文本和风格参考图像，我们提出了一种生成风格化的三维对象的方法，利用神经辐射场重建来合成与文本提示一致内容和风格参考图像的三维模型，并通过样式化评分蒸馏损失来指导文本到三维的优化过程，输出视觉合理的几何和外观。经与现有方法的比较表明我们方法在视觉上表现强大，同时通过用户研究的定量结果得到进一步支持。

    Jun, 2024

  • TeMO: 文本驱动的多物体网格三维风格化

    通过 TeMO 框架，解决了多对象 3D 场景的样式化问题，并利用交叉粗粒度对比监督系统构建细粒度损失，提高了多对象 3D 网格样式化的质量。

    Dec, 2023

  • TextDeformer: 使用文本指导进行几何形状操作

    本研究提出了使用可微分渲染进行网格变形的方法，通过使用 Jacobians 的方法解决了传统方法中的问题，并使用 CLIP 等预训练的图像编码器来对几何和图像进行连接，实现了对于形状和细节的变形。

    Apr, 2023

  • 从文本提示生成逼真的 3D 网格

    通过引入 SDF backbon，扩展 NeRF 来进行 3D 模型生成，并通过新颖的方法对网格纹理进行微调以改善输出的细节。

    Apr, 2023