Sep, 2023

SADIR：面向形状的扩散模型用于 3D 图像重建

PDF
TL;DR利用扩散模型提出一种基于形状感知网络的三维图像重建方法 (SADIR)，通过学习形状先验知识降低三维重建中的伪迹，并在脑和心脏核磁共振图像上的实验证明了模型相对基准方法具有更低的重建误差和更好的形状结构保留能力。
3d image reconstructiondeep learningshape-aware networkdiffusion modelsreconstruction error
发现论文，激发创造
  • DiffuseIR: 用扩散模型重建等向性三维显微图像

    使用扩散模型的无监督等距重建方法能够将低轴向分辨率的显微成像重建为高轴向分辨率的结果，无需重新训练，这个方法在电镜数据实验中实现了最新技术的表现甚至可以与监督方法竞争。

    Jun, 2023

  • 学习形状先验用于单视图 3D 补全和重建

    本文提出 ShapeHD，将深度生成模型与马赛克技术相结合，解决了单视角 3D 形状补全和重建的两个层面的问题，并在多个真实数据集上取得了比现有技术领先很多的表现。

    Sep, 2018

  • SIRA: 从单张图像生成可重新照明的人物形象

    使用基于神经场的两个数据驱动统计模型，从单张图像中重建具有高保真度几何结构和因式化光线和表面材质的人头像，成功分离了全局照明和漫反射和镜面反射反射率，并使头部模型的外观编辑和照明调整成为可能。

    Sep, 2022

  • 基于局部注意力机制的 SDF 扩散模型用于可控的三维形状生成

    提出了一种基于扩散的 3D 形状生成框架，名为局部注意力 SDF 扩散，可通过 2D 草图图像输入建模可信的 3D 形状，实现局部控制性和模型普适性的提高。

    May, 2023

  • 基于潜隐扩散模型的稀疏数据重建的迭代重建

    通过结合迭代重建和无监督潜在扩散模型，Latent Diffusion Iterative Reconstruction (LDIR) 方法能够以高效的方式重建高分辨率图像，超过其他无监督方法并接近有监督方法的性能，同时具有更快的执行时间和更低的内存消耗。

    Jul, 2023

  • 领域自适应的单视角三维重建

    本文提出了一种基于对抗训练的框架来解决单视角 3D 形状重建中存在的挑战，该框架通过降低自然和合成图像之间的差异、迫使重建在逼真的物体形状流形上以及实施其他约束来改进性能。实验结果表明，该方法优于基线模型，且采用简化模型即可达到与最先进方法相当的结果。

    Dec, 2018

  • 深度自适应推断网络用于单幅图像超分辨率

    本文提出了一种名为 AdaDSR 的单图像超分辨率方法，使用自适应推理网络和轻量级适配器模块来预测局部网络深度，并使用高效的稀疏卷积进行自适应推理。

    Apr, 2020

  • PiRD: 物理信息残差扩散用于流场重建

    在流体动力学中使用机器学习越来越普遍，为了加快解决偏微分方程的正反问题的计算。然而，现有基于卷积神经网络（CNN）的数据保真增强方法面临一个显著挑战，即在训练阶段依赖于特定低保真数据模式和分布。引入扩散模型在这个背景下展示了提高性能和可泛化性的潜力。我们提出的模型 —— 物理启发的残差扩散，展示了从标准低保真输入、注入高斯噪声的低保真输入以及随机采集样本中提升数据质量的能力。通过将基于物理的见解整合到目标函数中，进一步提高了推断得到的高质量数据的准确性和保真性。实验结果表明，我们的方法能够在不需要重新训练的情况下，有效地重建来自各种低保真输入条件中的二维湍流的高质量结果。

    Apr, 2024

  • 用于高质量单视图 3D 重建的深度隐式表面网络

    本文提出了一种新颖的用于单视角图像重构三维模型的方法 ——Deep Implicit Surface Network (DISN), 结合全局和局部图像特征以显著提高预测精度，能够捕捉 3D 形状中的细节，包括孔洞和薄结构等，并且在多类形状的合成与实际图像重构中达到了最优性能。

    May, 2019

  • 扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

    提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

    Mar, 2024