Jun, 2023

模糊聚焦：通过融合虚焦和辐射先验进行逼真的景深渲染

PDF
TL;DR本研究提出了一种基于焦散先验和辐射先验的实现逼真的 bokeh 效果的框架，该框架模拟了摄影中的浅景深，能够准确地模拟深度关系和区分出焦点区域，并为焦点区域提供多种不同的处理方式，可以在不提供深度图的情况下，学习实现真实感的 bokeh 渲染。
bokeh renderingdepth relationsdefocus to focusradiance priorsphysically accurate circle of confusion
发现论文，激发创造
  • 使用深度学习生成自然相机的景深效果

    本文提出了从 DSLR 相机制作模糊背景效果的深度学习模型，并使用大规模图像数据集进行训练。通过实验证明，该模型能够生成非均匀玻璃散射现象，即使输入数据复杂。

    Jun, 2020

  • Bokeh-Loss GAN：逼真且边缘感知的虚化多阶段对抗训练

    本研究提出了基于网络的方法，利用预测的单眼深度图和三种新的边缘感知 Bokeh 损失，以生成逼真的单眼 Bokeh 效果，并使用对抗性损失进行微调，实验结果表明，我们的方法能够处理复杂场景，产生锐利边缘而自然的 Bokeh 效果。

    Aug, 2022

  • 深度感知平滑图像混合用于浅景深效果生成

    本论文提出了一种基于端到端深度学习框架的方法，通过单眼景深估计网络将原始图像和不同版本的平滑图像混合以生成高质量的浅景深照片，该方法在 AIM 2019 咀嚼效应挑战赛感知跟踪中排名第二。

    May, 2020

  • AIM 2020 渲染现实晕影挑战赛

    本文回顾了第二届 AIM 逼真的浅景深效果渲染挑战，并提供所提出的解决方案和结果的描述。参与团队通过学习大规模数据集，成功实现了只基于一个框架的实时计算和感知质量较高的浅景深效果渲染，将该领域的实际应用推向了新的高度。

    Nov, 2020

  • SteReFo: 基于立体视觉的高效图像重新聚焦

    本文提出了一个基于双目图像深度估计和重聚的物理学启示管道，以在移动相机中从全聚焦双目图像中模仿 DSLR 相机的浅景深效果，从而实现在 76 FPS 的实时应用。相对于其他方法，我们的管道同时是可完全区分的、受物理启发的、不受场景内容的影响，还可以在静态图像场景中实现计算机视频焦点跟踪，我们还使用 SceneFlow、KITTI、CityScapes 等公共数据集对我们的方法进行了评估。

    Sep, 2019

  • DeepLens：从单幅图像产生浅景深

    使用深度学习算法和手机拍摄的 RGB-D 数据集改进图像升采样、边界预测和景深控制，从而实现了单张图像高分辨率景深浅化处理。与双镜头深度相机 iPhone 模式相比，该方法在景深控制和光圈大小选择方面更加灵活，且生成的图像质量较好。

    Oct, 2018

  • fNeRF：来自实用相机的高质量辐射场

    通过修改光线投射模型以利用透镜光学，我们提出了一种改进的模型，并且能够更好地匹配实际摄像机的虚焦模糊行为，特别是在部分遮挡的情况下，从而实现更锐利的重建，将全焦点图像的峰值信噪比在合成和真实数据集上提高了最多 3 dB。

    Jun, 2024

  • 利用虚化渲染和超分辨率的相机阵列的选择性光场聚焦

    提出了一种基于光场的方法来改善相机阵列的图像质量，使用视差进行对焦区域的估计，使用基于深度的各向异性滤波器渲染非对焦区域，再使用基于重建的超分辨率方法产生重点区域被超分辨率处理而非对焦区域审美化呈现的图像，使得景深可以进行后期调整，并表明该方法在公开及自建数据集上取得了优越的视觉表现。

    Aug, 2021

  • 深度和景深线索让去焦模糊检测更好

    本文提出了一种名为 D-DFFNet 的方法来检测图片中的 defocus 模糊区域。该方法通过隐式地结合深度信息和 DOF-edge 损失函数来理解 defocus 现象，并通过从预训练的单眼深度估计模型中提取深度特征。在公开基准数据集和新的大型数据集 EBD 上，该方法优于现有的各种方法。

    Jun, 2023

  • Defocus 和 DNN：如何通过 DNN 利用 Defocus 模糊提高 3D 估计的深度

    本文提出了一种利用深度学习方法和从焦外模糊度生成深度图像的技术来预测在野外环境下的单张图像深度的系统，并通过实验证明，相较于清晰图像，焦外特征能够有效提升深度预测准确性。

    Sep, 2018