深度感知平滑图像混合用于浅景深效果生成
本文提出了从 DSLR 相机制作模糊背景效果的深度学习模型,并使用大规模图像数据集进行训练。通过实验证明,该模型能够生成非均匀玻璃散射现象,即使输入数据复杂。
Jun, 2020
本研究提出了基于网络的方法,利用预测的单眼深度图和三种新的边缘感知 Bokeh 损失,以生成逼真的单眼 Bokeh 效果,并使用对抗性损失进行微调,实验结果表明,我们的方法能够处理复杂场景,产生锐利边缘而自然的 Bokeh 效果。
Aug, 2022
本文利用端到端 Deep Multi-Scale Hierarchical Network (DMSHN) 模型对单眼相机拍摄的图片进行了 Bokeh 效果的直接渲染。通过提出一个堆叠的 DMSHN 模型来进一步改善效果,避免在中等配置设备上运行时参数过多、运行时间过长等问题。该模型在使用较小的运行时间处理高清晰度图像时能够获得大规模 EBB! 数据集上的最新成果。
May, 2021
本文提出一种名为 Glass-Net 的生成器,利用 GAN 和感知损失结合进行模型的 finetuning,同时重新实现了 Instance Normalization,通过在智能手机 GPU 上加速 tflite 模型,能在所有智能手机芯片上每秒处理一张 1024x1536 像素的高质量 bokeh 图像,且该方法在 AIM 2020 排名第一。
Nov, 2020
使用深度学习算法和手机拍摄的 RGB-D 数据集改进图像升采样、边界预测和景深控制,从而实现了单张图像高分辨率景深浅化处理。与双镜头深度相机 iPhone 模式相比,该方法在景深控制和光圈大小选择方面更加灵活,且生成的图像质量较好。
Oct, 2018
本文回顾了第二届 AIM 逼真的浅景深效果渲染挑战,并提供所提出的解决方案和结果的描述。参与团队通过学习大规模数据集,成功实现了只基于一个框架的实时计算和感知质量较高的浅景深效果渲染,将该领域的实际应用推向了新的高度。
Nov, 2020
本文提出了结合潜在扩散模型和两阶段条件算法的 GBSD 生成模型,用于在语意上定义的对象上渲染 bokeh 效果,通过量化和定性的实验验证了 GBSD 能够应用于文本到图像和图像到图像的生成。
Jun, 2023
该研究提出一种使用单一手机相机和按键合成浅景深图像的系统,如果该图像是一个人,则使用人体分割网络将人和其配件与背景分离,并使用密集二像素自动对焦硬件计算出密集深度图。这两个信号结合起来用于渲染一张非聚焦的图像。
Jun, 2018
本研究提出了一种基于焦散先验和辐射先验的实现逼真的 bokeh 效果的框架,该框架模拟了摄影中的浅景深,能够准确地模拟深度关系和区分出焦点区域,并为焦点区域提供多种不同的处理方式,可以在不提供深度图的情况下,学习实现真实感的 bokeh 渲染。
Jun, 2023
本文提出了一个基于双目图像深度估计和重聚的物理学启示管道,以在移动相机中从全聚焦双目图像中模仿 DSLR 相机的浅景深效果,从而实现在 76 FPS 的实时应用。相对于其他方法,我们的管道同时是可完全区分的、受物理启发的、不受场景内容的影响,还可以在静态图像场景中实现计算机视频焦点跟踪,我们还使用 SceneFlow、KITTI、CityScapes 等公共数据集对我们的方法进行了评估。
Sep, 2019