Jun, 2023

使用文本指令学习编辑3D点云

HTML
PDF
TL;DR本文介绍了 InstructP2P，一种端到端框架，用于根据高级文本说明指导点云上的 3D 形状编辑。InstructP2P 通过协同作用于文本的点云扩散模型 Point-E 和强大的语言模型的优势来扩展现有方法的能力，从而使用语言说明进行颜色和几何编辑。我们提出了一个新的形状编辑数据集，旨在培训 InstructP2P。在实验中，InstructP2P 显示了泛化能力，尽管只有有限的数据训练，却适应了新的形状类别和指令。
发现论文，激发创造
  • ShapeCrafter：一种递归文本条件化的3D形状生成模型

    我们提出了 ShapeCrafter，这是一个针对递归文本条件3D形状生成的神经网络。通过对初始短语进行条件限制，我们的方法和数据集 Text2Shape++ 可以使形状的生成逐步发展，可以进行形状编辑和外推，支持人机协作设计的新应用。

    Jul, 2022

  • P2P: 使用点对像素提示调整预训练图像模型，进行点云分析

    本文探讨如何使用预训练的 2D 知识，通过 Point-to-Pixel Prompting 对预训练的图像模型进行微小调整，以适应于点云分析任务。经过广泛实验，该方法取得了很好的成绩，并在 ScanObjectNN 的最难设置上达到了 89.3% 的准确度。

    Aug, 2022

  • InstructPix2Pix: 学习图像编辑指令

    我们提出了一种图像编辑方法，可以根据用户的书面指令编辑图像，同时我们结合了两个预训练模型的知识生成了大量训练数据，使用训练好的模型可以快速地编辑图像，并且可以适用于不同的输入图像和书面指令。

    Nov, 2022

  • LADIS: 用于三维形状编辑的语言分离技术

    借助学习解耦的潜在表示，包括新颖的网络架构、解耦损失和新的编辑过程，我们旨在解决通过文本进行三维形状编辑时面临的挑战，并提出了称为逐部分编辑精度的新度量方法来评估编辑的区域范围，并表明我们的方法在编辑局部精度方面优于现有方法约20％，在语言参考分辨率准确性方面高达6.6％。

    Dec, 2022

  • OBJECT 3DIT：语言引导的三维感知图像编辑

    通过语言指导的3D感知编辑，本研究利用图像编辑工具对基于底层3D场景的对象进行编辑，介绍了OBJECT数据集和3DIT模型的能力。

    Jul, 2023

  • 基于草图和文本引导的着色点云生成扩散模型

    本文提出了一种基于素描和文本引导的彩色点云生成概率扩散模型，通过结合物体的手绘素描和文本描述，联合进行去噪过程，逐步扩散点坐标和颜色值以达到高斯分布，从而产生所需形状和颜色的彩色点云生成结果。

    Aug, 2023

  • SHAP-EDITOR: 指导的潜在三维编辑技术，秒级完成

    我们提出了一种新颖的前馈3D编辑框架，名为Shap-Editor，通过利用2D图像编辑网络的蒸馏过程，结合适当的潜在空间进行直接的3D编辑，构建了一个仅需约一秒编辑时间的前馈编辑网络。

    Dec, 2023

  • P2M2-Net：基于部件感知的引导式多模态点云补全

    我们提出了一个基于提示的点云补全框架，名为P2M2-Net，用于更可控和多样化的形状补全。通过使用Transformer模型，我们的框架能够高效地融合多模态特征并按照提示指导生成多样化的结果。我们在一个新的大规模PartNet-Prompt数据集上训练P2M2-Net，并在两个具有挑战性的形状补全基准上进行了广泛实验。定量和定性结果表明了引入提示进行更可控的部分感知点云补全和生成的有效性。

    Dec, 2023

  • InstructHumans: 使用指令编辑动画人物的3D纹理

    本研究提出InstructHumans，一个基于指令驱动的三维人体纹理编辑框架，通过选择性地整合Score Distillation Sampling (SDS)的子项，结合空间平滑正则化和基于梯度的视点采样，实现了高质量、锐利且高保真度的编辑效果，显著优于现有的三维编辑方法，能够在保持源头人物一致性的同时满足文本指令要求。

    Apr, 2024

  • ParSEL: 带有语言的参数化形状编辑

    通过自然语言请求，ParSEL系统能够有效地实现对3D对象的可控制编辑，通过生成参数化的编辑程序，用户可以准确控制编辑操作的大小，通过整合计算机代数系统进行几何分析，AEP算法能够搜索与各种可能用户编辑兼容的分析编辑操作，从而生成完整的编辑程序，实验证明了ParSEL在自然语言编辑3D对象方面的有效性。

    May, 2024