Mar, 2024

DragTex: 基于点的生成式纹理编辑在 3D 网格上

PDF
TL;DR通过使用扩展人工智能技术创建三维纹理网格近期引起了重要关注。我们提出了一种名为 DragTex 的生成点型三维网格纹理编辑方法，该方法利用扩散模型在不同视角之间变形剪影附近的区域中混合局部不一致的纹理，实现了局部一致的纹理编辑。此外，我们通过微调解码器来减少非拖动区域的重构错误，从而减轻了总体的错误积累。此外，我们使用多视图图像训练 LoRA，而不是对每个视图进行单独训练，从而显著缩短了训练时间。实验结果表明，我们的方法可有效地在三维网格上拖动纹理，并生成与拖动交互的预期意图相一致的合理纹理。
发现论文，激发创造
  • DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

    本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

    Jun, 2023

  • DragD3D: 基于顶点编辑的实际网格变形，使用 2D 扩散先验

    通过直接操作少量顶点，结合几何 ARAP 正则化器和基于大规模扩散模型的 2D 先验，我们提出了一种名为 DragD3D 的局部网格编辑方法，实现全局上下文感知的逼真变形。我们的研究表明，我们的变形方法比仅使用几何正则化器获得更好的结果，且能够意识到对象的全局上下文。

    Oct, 2023

  • 旋转拖拽：基于点的图像编辑与旋转扩散特征

    通过利用旋转图像的特征映射，精确跟踪控制点并保证高图像保真度，我们提出了一种名为 RotationDrag 的新方法，该方法在用户意图的平面旋转图像内容方面改进了基于点的图像编辑性能，并构建了一个针对平面旋转场景的基准测试 RotateBench 来评估点基图像编辑方法的性能。

    Jan, 2024

  • 利用 2D 数据学习纹理 3D 网格生成

    本研究提出了第一种用于生成有纹理的 3D 网格的生成模型，并且引入了一种全新的 3D 网格生成过程，以保证不会出现自交问题，我们在合成数据和自然图像上进行了广泛的实验，结果表明我们的方法成功学习生成了五种具有挑战性的物体类别的合理和多样化的纹理 3D 样本。

    Apr, 2020

  • GenesisTex: 将图像去噪扩散应用于纹理空间的适应

    GenesisTex 是一种从文本描述中合成 3D 几何纹理的新方法，通过纹理空间采样来适应预训练图像扩散模型，通过全局一致性和局部一致性实现多个视点之间的纹理生成，并通过基于参考的修复和图像转换进一步优化纹理。实验证明，我们的方法在数量和质量上优于基准方法。

    Mar, 2024

  • DragonDiffusion：在扩散模型上实现拖拽式操作

    本文介绍了一种基于 DragonDiffusion 的图像编辑方法，通过构建一个分类器指导策略，将编辑信号转化为梯度并利用特征对应损失修改分布式模型的中间表示，在保持原图像和编辑结果的一致性的同时，实现各种编辑模式，诸如物体移动、物体缩放、物体外观替换和内容拖动。

    Jul, 2023

  • TexSliders: 基於 CLIP 空間的擴散式紋理編輯

    应用扩散技术编辑纹理，通过操作 CLIP 图像嵌入来调节扩散生成，无需标注数据即可用自然语言提示进行编辑。

    May, 2024

  • 通过扩散语义传播进行交互式基于点的编辑

    DragNoise 利用 U-Net 的预测噪音输出作为语义编辑器，实现了稳定和高效的扩散语义编辑，并通过比较实验证明，与 DragDiffusion 相比，DragNoise 具有更好的控制和语义保留，优化时间减少了 50% 以上。

    Apr, 2024

  • 纹理三维网格卷积生成

    本文提出使用不同 iable rendering 技术生成三角网格和相关高分辨率纹理贴图的框架，以单视角自然图像为 2D 监督，并将网格和纹理编码为 2D 表示，以便使用 2D 卷积 GAN 进行建模，并在 Pascal3D + Cars 和 CUB 上展示了方法的有效性及其评估方法。

    Jun, 2020

  • 3DTextureTransformer：对任意网格拓扑进行几何感知纹理生成

    使用名为 3DTextureTransformer 的新颖框架，结合几何深度学习和 StyleGAN 类似的架构，能够在不改变原始高分辨率输入网格拓扑的情况下生成高质量的纹理。该架构在学习来自 3D 几何体和现实世界 2D 图像的情况下，与任意网格拓扑一起工作，取得了该类解决方案中的最新性能。

    Mar, 2024