ECCVJul, 2022

基于 MPI 的 Bokeh 渲染框架，用于实现逼真的局部遮挡效果

PDF
TL;DR利用可学习的三维场景表示 Multiplane Image (MPI)，提出了一个高分辨率的 MPIB Bokeh 渲染框架，配合背景修复模块，有效地实现了真实的部分遮挡效果，在合成和真实图像上取得了较好的结果。
partial occlusion effectsbokeh renderingmpi-basedhigh-resolutionray-tracing
发现论文，激发创造
  • Temporal-MPI: 基于时间基础学习的动态场景建模多平面图像实现

    本文提出了一种新的基于时间的多平面图像（Temporal-MPI）动态场景表示方法，它能够以紧凑的时间基和系数来编码整个视频的丰富 3D 和动态变化信息，并通过 Temporal-MPI 实时高质量地生成任意时刻的新视角。我们的方法在 Nvidia 动态场景数据集上进行训练和评估，证明了其比其他最先进的动态场景建模方法更快速更紧凑。

    Nov, 2021

  • MPI-Flow：学习多平面图像的真实光流

    通过生成高度逼真的实际光流数据集，利用多平面图像构造新图像和准确对应的光流地图，以及独立的物体运动模块和深度感知修复模块，该研究论文在光流估计中取得了最先进的性能。

    Sep, 2023

  • 适应性基于蒙版金字塔网络的逼真景深渲染

    本篇论文提出 Adaptive Mask-based Pyramid Network (AMPN)，该网络包含了 Mask-Guided Bokeh Generator (MGBG) block 和 Laplacian Pyramid Refinement (LPR) block 两个快速轻量级的子网络，可基于用户可编辑的遮罩，快速生成高质量的 bokeh 效果。

    Oct, 2022

  • AIM 2020 渲染现实晕影挑战赛

    本文回顾了第二届 AIM 逼真的浅景深效果渲染挑战，并提供所提出的解决方案和结果的描述。参与团队通过学习大规模数据集，成功实现了只基于一个框架的实时计算和感知质量较高的浅景深效果渲染，将该领域的实际应用推向了新的高度。

    Nov, 2020

  • 当神经渲染遇上经典渲染：BokehMe

    BokehMe 是一种混合 bokeh 渲染框架，使用神经渲染器和经典物理驱动渲染器相结合，可以生成高分辨率的逼真 bokeh 效果，并提出了一种能够计算误差图的公式，实现了经典渲染器和一个两阶段神经渲染器联合起来矫正渲染误差。

    Jun, 2022

  • 用于实际三维摄影的平铺多平面图像

    通过生成适应性深度平面的分区式多平面图像（TMPI），提供了一种有效的方法来合成单视图的三维摄影图像，并具有较低的计算开销。

    Sep, 2023

  • MMPI: 多重多层次图像混合的灵活辐射场表示

    本文提出了一种基于多平面图像（MPI）的神经辐射场的灵活表示方法，用于复杂场景的高质量视图合成。通过多平面图像的参数化和自适应混合操作，实现了对复杂场景下各种视角和摄像机分布的高质量图像合成和长轨迹编码，从而在新视角合成方面超越了快速训练的方法，展示了在自动驾驶等应用中的潜力。

    Sep, 2023

  • 模糊聚焦：通过融合虚焦和辐射先验进行逼真的景深渲染

    本研究提出了一种基于焦散先验和辐射先验的实现逼真的 bokeh 效果的框架，该框架模拟了摄影中的浅景深，能够准确地模拟深度关系和区分出焦点区域，并为焦点区域提供多种不同的处理方式，可以在不提供深度图的情况下，学习实现真实感的 bokeh 渲染。

    Jun, 2023

  • 众包采样光场函数

    本文介绍了一种基于多平面图像格式的新型视角合成方法，在不需要时间注册的情况下，从非结构化的照片集合中无监督地学习了这些效果的模型，并具有实时合成连续的空间和时间照明变化下逼真图像的能力，其中 DeepMPI 表现出了非常好的稀疏性能。

    Jul, 2020

  • Bokeh-Loss GAN：逼真且边缘感知的虚化多阶段对抗训练

    本研究提出了基于网络的方法，利用预测的单眼深度图和三种新的边缘感知 Bokeh 损失，以生成逼真的单眼 Bokeh 效果，并使用对抗性损失进行微调，实验结果表明，我们的方法能够处理复杂场景，产生锐利边缘而自然的 Bokeh 效果。

    Aug, 2022