Jul, 2023

零样本草图生成 3D 形状

PDF
TL;DRThis paper explores the use of pre-trained models and synthetic renderings to generate 3D shapes from sketches without the need for paired datasets, demonstrating the effectiveness of the approach for generating multiple 3D shapes per input sketch regardless of their level of abstraction.
pre-trained models3d shape generationsketcheslarge-scale vision modelsdomain adaptation
发现论文，激发创造
  • 3D VR 草图引导的 3D 形状原型制作和探索

    该研究旨在探索利用虚拟现实草图作为 3D 模型生成网络的条件模态之一，通过使用多模态 3D 形状表示和实现物理合理性的方法，在模型训练过程中采用特定的损失函数以生成遵循输入草图结构的多个 3D 模型的问题。

    Jun, 2023

  • 零样本三维形状草图视图相似度与检索

    本研究探讨了预训练的 ViT 和 ResNet 特征层在量化个体三维形状的二维草图视图之间的相似性方面的能力，并使用对比学习细化预训练模型，研究所选微调策略如何影响零样本形状检索准确性，提供洞察和指导采用大规模预训练模型作为感知损失的研究。

    Jun, 2023

  • Sketch3D：风格一致指导的草图生成三维模型

    该论文提出了一种名为 Sketch3D 的新型生成算法，通过形状保持生成过程实例化给定的草图，根据参考图像推断出粗糙的三维高斯先验，并生成基于三维高斯的多视角一致性引导图像，通过三种策略优化三维高斯，从而生成具有真实感的三维资产并与输入一致。

    Apr, 2024

  • 少样本三维形状生成

    通过利用先前训练好的生成模型，通过领域自适应的方式，基于有限数量的训练数据从而实现了少样本 3D 形状生成，该方法能够在保持多样性的同时避免过度拟合，并通过多种度量评估了生成的质量和多样性。

    May, 2023

  • 基于素描的照片分类器生成

    通过从用户的自由手绘草图中综合图像分类器，我们通过训练模型回归网络将自由手绘草图空间映射到照片分类器空间，从而实现了新类别的照片分类器的综合。同时，此方法还可以用作现有照片分类器粒度的增强方法，或作为基于名称零样本学习的补充。

    Apr, 2018

  • 自由手绘图的 3D 形状重建

    研究了从手绘草图重建立体物体的挑战，提出了数据生成和标准化机制，并对各种风格的手绘草图进行了广泛实验，进一步增强了草图在交互设计和 VR/AR 游戏等 3D 相关应用中的能力。

    Jun, 2020

  • Deep3DSketch+: 从单个手绘草图快速进行三维建模

    AR/VR 发展迅速，对 3D 内容需求巨大。本研究提出一种基于手绘草图的 3D 建模方法，使用单个手绘草图生成高保真内容，无需多个视图或步骤。采用端到端方法，引入轻量级生成网络和结构感知对抗训练，并通过 Stroke Enhancement Module（SEM）捕捉结构信息，提升性能。实验证明该方法在合成和真实数据集上具有最先进的性能。

    Sep, 2023

  • 领域解耦生成对抗网络用于零样本基于草图的三维形状检索

    本文提出了一种基于 DD-GAN 网络的用于 0-shot 检索的手绘三维形状检索方法，通过学习 sketch 和 3D Shapes 的特征区别，生成了与其对应的词向量，生成器结合特定类别生成样本和通用特征生成未知类别的 3D 对象，试验表明该方法显著提高了检索性能。

    Feb, 2022

  • ZeroShape: 基于回归的零样形重建

    我们研究单图零样版三维形状重建问题，通过对生成模型和回归方法的比较，设计了一种强大的回归模型 ZeroShape，并且通过大规模真实世界评估数据集的实验表明 ZeroShape 在性能、计算效率和数据效率上均优于现有方法。

    Dec, 2023

  • 多视角深度体积预测的三维速写

    我们提出了一种数据驱动方法，利用卷积神经网络 (CNN) 从一个或多个涂鸦中学习重建 3D 形状，为用户提供最初的 3D 重建并可以通过应用更新器 CNN 来迭代更新和融合多视角信息，从而实现自由的位图创作和多视角草图建模之间的连续转换。

    Jul, 2017