Feb, 2024

稳健逆图形推理的概率推断

PDF
TL;DR通过使用具有强大场景先验和无信息均匀损坏先验的贝叶斯方法（RIG），在给定单一图像的情况下，我们能够推断出含有各种污染物（如雨、雪或雾）的 3D 场景，并展示了 RIG 是如何超越点估计而优于深度估计器和其他性能的 NeRF 方法的。
发现论文，激发创造
  • 无需图像先验的不适定图像重建

    提出了一种无需显式图像先验信息的方法，通过共享低维结构来解决一组逆问题，其中可以处理许多具有通用结构的复杂实际问题，如图像降噪、相位恢复和黑洞视频重建等。

    Apr, 2023

  • ZIGNeRF：可逆生成神经辐射场的零样本 3D 场景表示

    ZIGNeRF 是一种基于 Zero-shot GAN 反演和新颖的转换器进行图像生成的模型，其可以从单个输入图像生成多视图图像，分离对象与背景并实现 360 度旋转或深度和水平平移。

    Jun, 2023

  • 使用神经辐射先验的全局反照率反演

    本研究提出了一种基于辐射先验和神经网络的简单的反渲染方法，可正确计算全局光照，同时在更短的计算时间内实现了与传统方法相当甚至更好的场景参数恢复质量。

    May, 2023

  • RICo：通用场景重建的旋转 - 修复 - 完整方法

    通过结构化将问题分解为补全和 2D 到 3D 场景转换两个步骤，本文提出了一种场景重建的方法。通过利用大型语言模型来补全从不同视角渲染的场景彩色图像中的缺失区域，然后通过预测补全图像的法线并解决缺失深度值的方法来将这些补全图像转换为 3D。通过对法线的预测而不是直接预测深度，我们的方法可以适应深度分布和尺度的变化，同时在提供对新对象和场景的泛化能力的同时，优于多个对比基线的表现。

    Jul, 2023

  • 使用生成模型进行不确定性量化

    本文提出了一种基于生成模型的贝叶斯逆问题方法，特别针对图像重建中的噪声和不完整图像，并解决了贝叶斯重建中遇到的常见问题：使用包含所有可用信息的复杂数据驱动先验，并在潜在空间和数据空间中进行可计算的不确定性量化。

    Oct, 2019

  • 从单张图片中神经逆向渲染室内场景

    本文提出了一种基于学习的逆向渲染方法，通过构建 Residual Appearance Renderer（RAR）来综合估计户内场景的反射率、法线和照明，使用基于物理的渲染技术创建了大规模的合成数据集。实验结果表明，该方法优于已有的估计一种或多种场景属性的最先进方法。

    Jan, 2019

  • RENI++ 旋转等变、尺度不变、自然光照先验

    基于生成变分自编码器和转换器解码器的条件神经场表示，通过引入旋转等变性和特征损失函数，实现了对复杂自然光照条件的高动态范围 (HDR) 图像的准确表示和逆渲染任务的应用，以及通过部分观测实现环境图完成。

    Nov, 2023

  • ScatterNeRF：基于物理反演神经渲染实现透过迷雾

    介绍了 ScatterNeRF，这是一种神经渲染方法，可以充分呈现有雾情况下的场景并分解没有雾的背景，并在没有大量训练数据的情况下进行优化，从而对复杂的天气条件进行处理以供自动驾驶汽车、机器人和无人机等应用程序使用。

    May, 2023

  • 复杂室内场景的反渲染：从单张图像提取形状、空间变化照明和空间可变双向反射分布函数

    提出了一种深度反渲染框架，用于室内场景的重建和估计形状、光照和面反射率，实现了提高渲染质量，从而在增强现实等领域具有广泛应用。

    May, 2019

  • StyleGAN 诱导的数据驱动正则化用于反问题

    通过使用预训练的 StyleGAN2 生成器构建先验分布，将学习的贝叶斯重建与生成模型相结合，实现了对图像修复和超分辨率重建问题的解决，与现有 GAN 图像重建方法相比表现更好。

    Oct, 2021