CVPRJun, 2022

IRISformer：用于室内场景单张图像反渲染的紧密视觉变换器

PDF
TL;DR本研究的重点是通过使用变换器结构来解决单张图像反渲染领域的挑战，进而从单张室内场景图像中同时估计深度、法线、强度和光照，以及对比其他方法在实际应用中的优势。
inverse renderingtransformer architecturesindoor scenescomputer visionimage formation
发现论文，激发创造
  • 复杂室内场景的反渲染：从单张图像提取形状、空间变化照明和空间可变双向反射分布函数

    提出了一种深度反渲染框架，用于室内场景的重建和估计形状、光照和面反射率，实现了提高渲染质量，从而在增强现实等领域具有广泛应用。

    May, 2019

  • 从单张图片中神经逆向渲染室内场景

    本文提出了一种基于学习的逆向渲染方法，通过构建 Residual Appearance Renderer（RAR）来综合估计户内场景的反射率、法线和照明，使用基于物理的渲染技术创建了大规模的合成数据集。实验结果表明，该方法优于已有的估计一种或多种场景属性的最先进方法。

    Jan, 2019

  • IRIS：从低动态范围图像中反渲染室内场景

    从多视角、低动态范围（LDR）图像中恢复场景的基于物理的材质属性和空间变化的高动态范围（HDR）照明，实现了高度逼真的重照和物体插入。

    Jan, 2024

  • 使用物理与神经渲染器的半透明物体反渲染

    该研究提出了一种反渲染模型，可以从一对仅捕获到的半透明物体的图像中，联合预测 3D 形状、可变反射率、均匀次表面散射参数和环境光照。研究者还使用了基于物理和神经渲染器来解决反渲染中的模糊问题，并构建了庞大的合成数据集来验证模型的有效性。

    May, 2023

  • 可解释多目标跟踪的反向神经渲染

    通过在预训练的 3D 对象表示的潜在空间上优化可微分的渲染管道，我们提出将 RGB 摄像机中的 3D 多目标跟踪重新构建为逆渲染问题，通过优化图像损失在生成的潜空间上进行，其固有地解藕形状和外观属性。我们验证了我们方法的泛化和扩展能力，通过仅从合成数据学习生成先验，并在 nuScenes 和 Waymo 数据集上评估基于摄像机的 3D 跟踪。

    Apr, 2024

  • TensoIR：张量反渲染

    TensoIR 是一种新的反渲染方法，基于张量分解和神经场，它可以从多视角图像中估计场景几何，表面反射和环境照明，从而实现逼真的新视角合成和重照结果。

    Apr, 2023

  • 稠密预测的视觉 Transformer

    本文提出了稠密视觉 Transformer（dense vision transformers）作为密集预测任务的主干网络，相对于全卷积网络，该结构以恒定和较高的分辨率处理表示，并在每个阶段具有全局感受野。在单眼深度估计和语义分割任务上，我们的实验表明，该结构在有大量训练数据的情况下能够显着提高性能，是一种大有前途的新型神经网络结构。

    Mar, 2021

  • 从单个视频进行大规模城市场景逆向渲染

    该论文提出了一种名为 UrbanIR 的模型，可以从视频中反演出场景的形状、亮度、可见度和光照等属性，从而实现真实感观影，其利用了一种新的损失函数来控制渲染的伪影问题，并且获得了比其他方法更好的阴影体积估计。

    Jun, 2023

  • SIRe-IR：高照度场景下具有阴影和光照去除的 BRDF 重建的反渲染

    SIRe-IR 是一种基于非线性映射和正则化能见度估计的隐式神经反渲染方法，能够准确地将场景分解为环境贴图、反射率和粗糙度，并能够同时模拟间接辐射场、法线、能见度和直接光，从而消除材质中的阴影和间接照明。SIRe-IR 在定量和定性评估中均优于现有方法。

    Oct, 2023

  • 基于物理的单图像室内场景光照编辑

    本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。

    May, 2022