通过使用扩展人工智能技术创建三维纹理网格近期引起了重要关注。我们提出了一种名为 DragTex 的生成点型三维网格纹理编辑方法，该方法利用扩散模型在不同视角之间变形剪影附近的区域中混合局部不一致的纹理，实现了局部一致的纹理编辑。此外，我们通过微调解码器来减少非拖动区域的重构错误，从而减轻了总体的错误积累。此外，我们使用多视图图像训练 LoRA，而不是对每个视图进行单独训练，从而显著缩短了训练时间。实验结果表明，我们的方法可有效地在三维网格上拖动纹理，并生成与拖动交互的预期意图相一致的合理纹理。

Mar, 2024

本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

Jun, 2023

基于 3D Gaussian Splatting 的 DragGaussian 框架，结合扩散模型，使用户能够对预训练的 3D 高斯对象模型进行基于拖动的编辑，通过多视角一致的编辑生成修改后的 2D 图像。

May, 2024

本文介绍了一种基于 DragonDiffusion 的图像编辑方法，通过构建一个分类器指导策略，将编辑信号转化为梯度并利用特征对应损失修改分布式模型的中间表示，在保持原图像和编辑结果的一致性的同时，实现各种编辑模式，诸如物体移动、物体缩放、物体外观替换和内容拖动。

Jul, 2023

我们提出了 3Deformer，这是一个用于交互式三维形状编辑的通用框架。通过利用语义图像对源网格进行形状引导，同时尽可能保持源拓扑结构的刚性，3Deformer 能够精确编辑源网格。我们的方法不需要高成本的三维训练数据集，只需利用易得的语义图像作为监督，并且可以在各种不受数据集限制的对象上进行编辑。通过引入分层优化架构和各种策略和损失函数，我们克服了使用简单的二维图像对复杂三维形状进行引导所带来的挑战，从而提高了准确性、平滑度和刚性。大量实验证明，我们的 3Deformer 能够产生令人印象深刻的结果，并达到了最先进水平。

Jul, 2023

介绍了 GoodDrag，一种改善拖拽编辑稳定性和图像质量的新方法。通过引入 AlDD 框架进行扩散过程中的拖拽和去噪操作交替，有效提高结果的保真度。提出了信息保持的运动监督操作，以保持精确操作和减少伪影。除此之外，通过引入 Drag100 数据集和开发专用的质量评估指标，Dragging Accuracy Index 和 Gemini Score 来贡献拖拽编辑的基准测试。广泛的实验证明，所提出的 GoodDrag 在定性和定量上与最先进的方法相比具有优势。

Apr, 2024

我们提出了一种尽可能合理的网格变形技术（APAP），利用二维扩散先验保持网格在用户控制的变形下的合理性。我们的框架使用面对面的雅可比矩阵表示网格变形，通过可微分的泊松求解计算网格顶点坐标。变形的网格被渲染，并使用预训练的二维扩散模型在分数蒸馏抽样（SDS）过程中提取有意义的合理性先验。为了更好地保留编辑后网格的身份，我们使用 LoRA 对二维扩散模型进行微调。然后将 SDS 和用户提供的处理移位提取的梯度反向传播到面对面的雅可比矩阵中，使用迭代梯度下降计算最终的变形，以平衡用户编辑和输出合理性。我们使用二维和三维网格对我们的方法进行评估，并展示使用合理性先验相比之前技术使用几何保持或失真最小化先验时的定性和定量改进。

Nov, 2023

提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

Mar, 2024

通过采用与 DragGAN 相似的拖拽式用户交互来编辑视频内容并保持时间一致性的 DragVideo，通过优化视频 U-Net 生成的扩散视频潜变量来实现所需的控制，展示了拖拽式视频编辑的可适用性和通用性。

Dec, 2023

本文提出了一种并行顶点生成模型，采用扩散模型训练，并引入归一化坐标值和角度损失以解决训练的两个缺陷，实验结果显示该模型在物体检测和分割方面取得了最先进的性能。

Mar, 2023