Apr, 2024

3DStyleGLIP：面向部分的文本引导的 3D 神经风格化

PDF
TL;DR介绍了一种基于文本驱动的、部分定制的 3D 风格化的新方法 3DStyleGLIP，该方法利用 Grounded Language-Image Pre-training (GLIP) 模型的视觉 - 语言嵌入空间来定位 3D 模型的各个部分，并按照文本提示中指定的风格修改它们的颜色和局部几何形状，通过在 GLIP 的嵌入空间中使用部分级风格损失和两种补充学习技术，有效地训练了 3DStyleGLIP，实验证实了该方法在部分级别的风格化任务上取得了显著成果，显示出推动 3D 风格化领域发展的潜力。
3d stylizationtext-drivenpart-tailoredglippart-wise stylization
发现论文，激发创造
  • CLIP3Dstyler: 语言引导的 3D 任意神经风格迁移

    本文提出了一种新的基于语音指导的三维任意神经风格转移方法，通过改进方案解决了传统 2D 和 3D 方法不能解决的问题，匹配点云和语音的不同特征，并提高文本风格可辨别性，在多个场景下实现了高效的风格迁移。

    May, 2023

  • Text2Mesh: 文本驱动的网格神经风格化

    本文提出 Text2Mesh 算法，通过基于神经网络的颜色预测和本地几何细节预测实现对三维网格的样式编辑，使用 disentangled 表示法来对三维物体进行处理，无需预先训练的生成模型或特殊三维网格数据集，可以合成各种样式的三维网格。

    Dec, 2021

  • HyperStyle3D: 通过超网络进行文本引导的 3D 人像风格化

    本文提出了一种基于 3D-aware GANs 的 HyperStyle3D 方法，利用 CLIP 模型作为样式指导，可以在不要求 3D 数据的情况下进行立体画风化处理，实验结果表明该方法在不同的画风、形状变形、属性修改等方面展现了优异表现，且保持了 3D 一致性。

    Apr, 2023

  • 3DStyle-Diffusion：使用 2D 扩散模型追求细粒度基于文本的 3D 风格化

    通过结合 CLIP 和 2D Diffusion 模型，我们提出了一种新的 3DStyle-Diffusion 模型，能够在文本驱动的几何和外观引导下，实现对 3D 网格的细粒度样式化。

    Nov, 2023

  • Dream-in-Style: 使用风格化得分蒸馏的文本到 3D 生成

    通过输入文本和风格参考图像，我们提出了一种生成风格化的三维对象的方法，利用神经辐射场重建来合成与文本提示一致内容和风格参考图像的三维模型，并通过样式化评分蒸馏损失来指导文本到三维的优化过程，输出视觉合理的几何和外观。经与现有方法的比较表明我们方法在视觉上表现强大，同时通过用户研究的定量结果得到进一步支持。

    Jun, 2024

  • TeMO: 文本驱动的多物体网格三维风格化

    通过 TeMO 框架，解决了多对象 3D 场景的样式化问题，并利用交叉粗粒度对比监督系统构建细粒度损失，提高了多对象 3D 网格样式化的质量。

    Dec, 2023

  • 电子商务领域的风格化数据生成案例研究

    提出了一个新的任务 —— 风格化数据到文本生成，旨在根据特定的风格为给定的非语言数据生成连贯的文本。为应对逻辑、风格和偏差等三个挑战，我们提出了一个名为 StyleD2T 的新型模型，包括三个组件：逻辑规划增强数据嵌入、基于掩码的风格嵌入和无偏向的风格化文本生成。

    May, 2023

  • TANGO: 基于文本驱动的光照分解实现逼真且鲁棒性强的 3D 风格化

    该研究提出了一种基于文本提示的算法 TANGO，利用具有空间变化的双向反射分布函数、局部几何变化和照明条件等因素进行光线追踪，并通过 CLIP 模型进行优化训练，提高了 3D 样式迁移的逼真程度、3D 几何形状的一致性和稳健性。

    Oct, 2022

  • DreamStyler：使用文本到图像扩散模型进行风格反演的绘画

    DreamStyler 是一种新的框架，用于艺术图像合成，具备文本到图像合成和风格转换的能力，通过多阶段的文本嵌入和上下文感知的文本提示来优化图像质量，并具备适应一系列风格参考的灵活性，实验证明其在多种场景下的卓越性能，显示出在艺术产品创作方面的潜在优势。

    Sep, 2023

  • 3DStyleNet：以几何和纹理风格变化创建 3D 形状

    该研究提出了一种创建三维内容、进行几何和贴图风格变化的方法，借助预先训练的图像样式转换网络和自己的几何样式网络，可实现数据增强与单图像 3D 重构任务。

    Aug, 2021