该研究旨在探索利用虚拟现实草图作为 3D 模型生成网络的条件模态之一，通过使用多模态 3D 形状表示和实现物理合理性的方法，在模型训练过程中采用特定的损失函数以生成遵循输入草图结构的多个 3D 模型的问题。

Jun, 2023

本文提出了一种新颖的端到端 3D 感知图像生成和编辑模型，通过纯噪声、文本和参考图像等多种条件输入，在 3D 生成对抗网络（GANs）的潜在空间中深入研究并提出解缠特性较好的生成策略，同时采用统一框架进行灵活的图像生成和编辑任务，实现多模态条件下的多样图像生成、属性编辑和风格迁移。广泛实验证明，该方法在图像生成和编辑方面在质量和数量上均优于替代方法。

Mar, 2024

本文介绍了一种民主化的三维内容创作方法，能够通过抽象的草图精确生成三维形状，同时克服与绘画技巧相关的限制。我们引入了一种新颖的部分水平建模和对齐框架，促进了抽象建模和跨模式对应关系。利用相同的部分水平解码器，我们的方法能够无缝地扩展到草图建模，通过建立 CLIPasso 边缘地图和投影的三维部分区域之间的对应关系，消除了人类草图和三维形状配对数据集的需求。此外，我们的方法通过交叉模式的部分对齐建模产生了一种无缝的位置调整过程。在低维隐含空间中运作，我们的方法显著降低了计算需求和处理时间。

Dec, 2023

使用部分图像、顶视图的布局信息和文本提示来控制和生成多模态条件下的 3D 场景，通过预训练的文本到图像模型微调，以及布局条件的深度估计和神经辐射场（NeRF），实现从给定条件生成 2D 图像和从 2D 图像生成 3D 场景，避免创建庞大的数据集，得到了定性和定量的实验结果，证明了该方法能够根据多模态条件生成多领域的 3D 场景。

Mar, 2024

该论文提出了一种新的框架，用于简化业余用户的 3D 资产生成。这种方法支持多种输入模态，并能够对每个输入的强度进行调整，从而允许用户同时使用不完整的形状、图像和文字描述来生成形状，并提供每个输入的相对权重和互动性。

Dec, 2022

该论文介绍了一种基于文本或图像的提示（如 “年轻的脸” 或 “惊讶的脸”）来操纵三维生成模型中形态和纹理的方法，利用了对比语言图像预训练模型（CLIP）和预训练的生成人脸的三维 GAN 模型创建了一个完全可微的渲染管道来操作网格。

Feb, 2022

本文提出了一个交互式框架，用于从点云数据和 RGB 图像中注释 3D 对象的几何形状，让普通用户能够高效地进行标注，而无需专业技能。该框架包含两个简单易用的交互模块：第一个模块自动猜测 3D 形状并允许用户在所需的 2D 视图中绘制草图提供大误差反馈；第二个模块根据图形卷积网络实现，帮助用户轻松地调整完善 3D 形状。实验验证了本框架在 ShapeNet、Pix3D 和 ScanNet 等流行基准测试上的良好表现，并通过用户研究证明，使用本方法注释的数据可有效促进现实世界的学习任务。

Aug, 2020

该论文提出了一种名为 Sketch3D 的新型生成算法，通过形状保持生成过程实例化给定的草图，根据参考图像推断出粗糙的三维高斯先验，并生成基于三维高斯的多视角一致性引导图像，通过三种策略优化三维高斯，从而生成具有真实感的三维资产并与输入一致。

Apr, 2024

通过多模式输入，如 2D 草图、图片和文本从高质量的 3D 资产检索解决通常需要高度专业化技能才能手工设计和生成对象和其他资产模型的问题。

Sep, 2022

This paper explores the use of pre-trained models and synthetic renderings to generate 3D shapes from sketches without the need for paired datasets, demonstrating the effectiveness of the approach for generating multiple 3D shapes per input sketch regardless of their level of abstraction.

Jul, 2023