Jun, 2023

使用图像变换器和镜头元数据嵌入转换背景虚化效果

PDF
TL;DR本论文提出了一种新的通用方法，在模型中嵌入镜头元数据，并引入了一种来自新发布的 Bokeh Effect Transformation Dataset（BETD）[3] 的 alpha masks 的损失计算方法。基于以上技术，我们提出了 BokehOrNot 模型，能够产生各种组合的透镜和光圈大小的模糊到清晰、清晰到模糊的浅景深特效，其效果比当前领先的浅景深渲染和图像修复模型都要好，并呈现出自然的视觉效果。
bokeh effectlens metadataalpha masksmodelimage restoration
发现论文，激发创造
  • 深度感知平滑图像混合用于浅景深效果生成

    本论文提出了一种基于端到端深度学习框架的方法，通过单眼景深估计网络将原始图像和不同版本的平滑图像混合以生成高质量的浅景深照片，该方法在 AIM 2019 咀嚼效应挑战赛感知跟踪中排名第二。

    May, 2020

  • 使用深度学习生成自然相机的景深效果

    本文提出了从 DSLR 相机制作模糊背景效果的深度学习模型，并使用大规模图像数据集进行训练。通过实验证明，该模型能够生成非均匀玻璃散射现象，即使输入数据复杂。

    Jun, 2020

  • Bokeh-Loss GAN：逼真且边缘感知的虚化多阶段对抗训练

    本研究提出了基于网络的方法，利用预测的单眼深度图和三种新的边缘感知 Bokeh 损失，以生成逼真的单眼 Bokeh 效果，并使用对抗性损失进行微调，实验结果表明，我们的方法能够处理复杂场景，产生锐利边缘而自然的 Bokeh 效果。

    Aug, 2022

  • BGGAN: Bokeh-Glass 生成对抗网络 用于渲染逼真的 Bokeh

    本文提出一种名为 Glass-Net 的生成器，利用 GAN 和感知损失结合进行模型的 finetuning，同时重新实现了 Instance Normalization，通过在智能手机 GPU 上加速 tflite 模型，能在所有智能手机芯片上每秒处理一张 1024x1536 像素的高质量 bokeh 图像，且该方法在 AIM 2020 排名第一。

    Nov, 2020

  • GBSD: 舞台散射生成浅景深效果

    本文提出了结合潜在扩散模型和两阶段条件算法的 GBSD 生成模型，用于在语意上定义的对象上渲染 bokeh 效果，通过量化和定性的实验验证了 GBSD 能够应用于文本到图像和图像到图像的生成。

    Jun, 2023

  • AIM 2020 渲染现实晕影挑战赛

    本文回顾了第二届 AIM 逼真的浅景深效果渲染挑战，并提供所提出的解决方案和结果的描述。参与团队通过学习大规模数据集，成功实现了只基于一个框架的实时计算和感知质量较高的浅景深效果渲染，将该领域的实际应用推向了新的高度。

    Nov, 2020

  • 学习镜头模糊场

    通过引入高维度的神经模型 ——{lens blur field} 和一种实用的获取方法，我们成功解决了现代相机中复杂光学元素导致的光学模糊的建模难题，并展示了通过获取 5D 模糊领域可以揭示出同款智能手机设备的光学行为差异的现象。

    Oct, 2023

  • 基于深度多尺度层叠网络的单张图片快速浅景深渲染

    本文利用端到端 Deep Multi-Scale Hierarchical Network (DMSHN) 模型对单眼相机拍摄的图片进行了 Bokeh 效果的直接渲染。通过提出一个堆叠的 DMSHN 模型来进一步改善效果，避免在中等配置设备上运行时参数过多、运行时间过长等问题。该模型在使用较小的运行时间处理高清晰度图像时能够获得大规模 EBB! 数据集上的最新成果。

    May, 2021

  • Blur2Blur: 未知域上无监督图像去模糊的模糊转换

    本研究提出了一种创新的框架，旨在训练一个针对特定相机设备的图像去模糊算法，该算法通过将难以去模糊的模糊输入图像转化为更加易于去模糊的另一个模糊图像来工作。该模型基于一个模糊到模糊的转换过程，利用目标相机设备捕获的清晰和模糊图像的非配对数据。通过各种基准测试的全面实验证明了所提方法的有效性，定量和定性上都显著优于现有的方法。本研究的源代码和数据可在链接中获取。

    Mar, 2024

  • 当神经渲染遇上经典渲染：BokehMe

    BokehMe 是一种混合 bokeh 渲染框架，使用神经渲染器和经典物理驱动渲染器相结合，可以生成高分辨率的逼真 bokeh 效果，并提出了一种能够计算误差图的公式，实现了经典渲染器和一个两阶段神经渲染器联合起来矫正渲染误差。

    Jun, 2022