ICCVAug, 2023

基于草图和文本引导的着色点云生成扩散模型

PDF
TL;DR本文提出了一种基于素描和文本引导的彩色点云生成概率扩散模型，通过结合物体的手绘素描和文本描述，联合进行去噪过程，逐步扩散点坐标和颜色值以达到高斯分布，从而产生所需形状和颜色的彩色点云生成结果。
diffusion probabilistic models3d shapescolored point cloud generationsketch and text guidedstaged diffusion
发现论文，激发创造
  • 可调节的草图上色方法：基于参考图像和文本

    该研究论文探讨了基于图像引导的扩散模型在参考图像引导下的素描着色，并提出了两种使用不同图像特征作为条件输入的变种隐式扩散模型，以及相应的调整结果方法。通过定性和定量实验以及用户研究，全面评估了这些模型的性能。

    Jan, 2024

  • 3D 点云生成的扩散概率模型

    本文提出了一个概率模型，将点云看作是处于非平衡热力学系统内的粒子，并通过扩散过程学习将噪声分布转换为所需形状分布的逆扩散过程，即点云生成过程。具体地，将点云的逆扩散过程建模为一个以某个形状因子为条件的马尔科夫链，并提供了闭合形式的变分下界以进行训练。实验结果显示，该模型在点云生成和自编码方面具有竞争性能。

    Mar, 2021

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • DiffSketcher：基于潜在扩散模型的文本引导矢量素描综合

    本论文中，我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher，并使用预训练的图像扩散模型进行开发。

    Jun, 2023

  • Sketch3D：风格一致指导的草图生成三维模型

    该论文提出了一种名为 Sketch3D 的新型生成算法，通过形状保持生成过程实例化给定的草图，根据参考图像推断出粗糙的三维高斯先验，并生成基于三维高斯的多视角一致性引导图像，通过三种策略优化三维高斯，从而生成具有真实感的三维资产并与输入一致。

    Apr, 2024

  • 扩散色彩：带文本引导的图像上色

    使用图像扩散技术和细粒度文本提示的新型图像上色框架，实现了既语义合适又能提高用户对上色过程控制水平的上色输出，通过预训练的生成扩散模型进行微调并评估颜色鲜艳度，适用于颜色增强和历史图像上色。

    Dec, 2023

  • SketchFFusion: 基于扩散模型的草图引导图像编辑

    本文提出了一种基于草图向量的条件扩散模型（SketchFFusion），用于实现基于用户提供的草图信息进行局部细节微调的图像编辑，并展示了其优于现有方法的生成性能。

    Apr, 2023

  • $PC^2$: 基于投影条件的点云扩散用于单张图像的三维重建

    本文提出了一种新颖的基于条件去噪扩散过程的单张 RGB 图像三维重建方法，通过其几何一致的投影条件处理过程，能够生成与输入图像高度对齐的高分辨率稀疏几何形状，并自然地生成与单个输入图像一致的多个形状，相比之前的工作获得了更好的性能提升和质量改善。

    Feb, 2023

  • GaussianDreamer：从文本到 3D 高斯点云投射的快速生成

    该研究介绍了一种利用 3D 扩散模型和 2D 扩散模型结合的方法，通过高效的 3D 高斯雪花样表示，实现了快速生成高质量的 3D 实例，并且可以实时渲染。

    Oct, 2023

  • 通过点 - 体素扩散生成和补全 3D 形状

    本文提出了一种新颖的概率生成建模方法，称为 Point-Voxel Diffusion（PVD），它是一个统一的、概率的公式，用于无条件的形状生成和多模态形状完成。PVD 将降噪扩散模型与 3D 形状的混合点 - 体素表示相结合，并通过优化变分下界来训练（条件）似然函数。实验证明了 PVD 的高保真度合成能力，以及从单视角深度扫描的真实对象中生成多个完成结果的能力。

    Apr, 2021