May, 2024

Diff3DS: 通过可微曲线渲染生成视图一致的三维素描

PDF
TL;DR借助 Diff3DS 框架，通过在 2D 图像域中计算的梯度，实现了 3D 草图的端到端优化。该框架可以用于文本到 3D 草图和图像到 3D 草图的生成任务，支持基于蒸馏的监督学习，如 Score Distillation Sampling (SDS)。大量实验证明了该框架的潜力和有望的结果。
3d sketchesdifferentiable rendering framework3d parametric curves2d raster imageend-to-end optimization
发现论文，激发创造
  • 3Doodle：使用 3D 笔画对对象进行简化

    我们提出了 3Dooole，能够生成描述性和视角一致的草图图像，基于一组 3D 笔画能够有效地表示 3D 结构信息并渲染视角一致的 2D 草图。

    Feb, 2024

  • 基于图像的三维推理差分渲染器

    本文提出了一种新的可微分渲染框架，可以使用可微分函数直接渲染彩色网格，并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号，并通过实验，证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善，并能够处理基于图像的形状拟合等具有挑战性的任务。

    Apr, 2019

  • Deep3DSketch+: 从单个手绘草图快速进行三维建模

    AR/VR 发展迅速，对 3D 内容需求巨大。本研究提出一种基于手绘草图的 3D 建模方法，使用单个手绘草图生成高保真内容，无需多个视图或步骤。采用端到端方法，引入轻量级生成网络和结构感知对抗训练，并通过 Stroke Enhancement Module（SEM）捕捉结构信息，提升性能。实验证明该方法在合成和真实数据集上具有最先进的性能。

    Sep, 2023

  • DiffSketcher：基于潜在扩散模型的文本引导矢量素描综合

    本论文中，我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher，并使用预训练的图像扩散模型进行开发。

    Jun, 2023

  • Sketch3D：风格一致指导的草图生成三维模型

    该论文提出了一种名为 Sketch3D 的新型生成算法，通过形状保持生成过程实例化给定的草图，根据参考图像推断出粗糙的三维高斯先验，并生成基于三维高斯的多视角一致性引导图像，通过三种策略优化三维高斯，从而生成具有真实感的三维资产并与输入一致。

    Apr, 2024

  • SDFDiff：三维形状优化中符号距离场的可微分渲染

    提出了使用可微分渲染 3D 形状来进行基于图像的形状优化的 SDFDiff 方法，并将其应用于多视图 3D 重建问题，并采用多分辨率策略获得了稳健的优化算法。同时，还可将其与深度学习模型集成，实现无需 3D 监督学习 3D 对象的学习方法，并在单视图 3D 重建方面取得了最先进的结果。

    Dec, 2019

  • 可微绘画与素描

    该论文提出了一种可微分方案，用于反距离变换松弛像素栅格的绘制过程，以学习和优化图像的绘制过程，支持自动编码器将栅格化的手写数字转换成向量。

    Mar, 2021

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024

  • Sketch2NeRF: 多视图草图引导的文本生成三维模型

    通过多视角草图引导的文本到 3D 生成框架，使用预训练的 2D 扩散模型对神经辐射场进行优化，以实现从草图到生成 3D 场景的灵活控制。

    Jan, 2024

  • 基于插值可微渲染器的三维物体预测学习

    本文提出了 DIB-R，一种可微的渲染框架，使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算，在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。

    Aug, 2019