Jun, 2018

单摄手机合成景深

PDF
TL;DR该研究提出一种使用单一手机相机和按键合成浅景深图像的系统，如果该图像是一个人，则使用人体分割网络将人和其配件与背景分离，并使用密集二像素自动对焦硬件计算出密集深度图。这两个信号结合起来用于渲染一张非聚焦的图像。
shallow depth-of-fieldcomputationally synthesized imagesmobile cameraperson segmentation networkdense dual-pixel auto-focus hardware
发现论文，激发创造
  • DeepLens：从单幅图像产生浅景深

    使用深度学习算法和手机拍摄的 RGB-D 数据集改进图像升采样、边界预测和景深控制，从而实现了单张图像高分辨率景深浅化处理。与双镜头深度相机 iPhone 模式相比，该方法在景深控制和光圈大小选择方面更加灵活，且生成的图像质量较好。

    Oct, 2018

  • 针对非专业摄影师的合成模糊和前瞻自动对焦技术

    本文介绍了一种新的方法来实现休闲视频制作中的电影般的焦点，即从深度拍摄的视频中合成可重新对焦的视频，并分析未来的视频帧以实现上下文感知的自动对焦。

    May, 2019

  • 使用深度学习生成自然相机的景深效果

    本文提出了从 DSLR 相机制作模糊背景效果的深度学习模型，并使用大规模图像数据集进行训练。通过实验证明，该模型能够生成非均匀玻璃散射现象，即使输入数据复杂。

    Jun, 2020

  • DC²：通过学习重新聚焦的双摄像头散焦控制

    提出了一种利用双摄像头系统中的虚焦效应，并通过图像重构来了解虚焦控制的 $ ext {DC}^2$ 系统，能够优于现有的虚焦去模糊，背景虚化和图像重构技术，支持倾斜移位和基于内容的虚化效果。

    Apr, 2023

  • 深度感知平滑图像混合用于浅景深效果生成

    本论文提出了一种基于端到端深度学习框架的方法，通过单眼景深估计网络将原始图像和不同版本的平滑图像混合以生成高质量的浅景深照片，该方法在 AIM 2019 咀嚼效应挑战赛感知跟踪中排名第二。

    May, 2020

  • SteReFo: 基于立体视觉的高效图像重新聚焦

    本文提出了一个基于双目图像深度估计和重聚的物理学启示管道，以在移动相机中从全聚焦双目图像中模仿 DSLR 相机的浅景深效果，从而实现在 76 FPS 的实时应用。相对于其他方法，我们的管道同时是可完全区分的、受物理启发的、不受场景内容的影响，还可以在静态图像场景中实现计算机视频焦点跟踪，我们还使用 SceneFlow、KITTI、CityScapes 等公共数据集对我们的方法进行了评估。

    Sep, 2019

  • 使用双像素数据进行散焦去模糊

    该研究提出了一种有效的去除焦外模糊的方法，利用大多数现代相机上的双像素传感器捕获的数据，通过深度神经网络结构来减少焦外模糊，并且通过精心捕获的数据集来证明了该方法的可行性。

    May, 2020

  • 使用单个双像素相机进行面部深度和法向估计

    本文介绍了一个 DP Depth/Normal 网络，通过收集超过 135K 张 DP 面部数据实现了 3D 面部几何重建，该网络具有自适应采样模块和自适应法线模块，可处理 DP 图像中的虚焦模糊区域，并实现了是取得最新的 DP-based 深度 / 法线估计方法的最优表现，同时也展示了该面部深度 / 法线估计在面部欺骗和光照方面的应用。

    Nov, 2021

  • 智能手机摄像头双机对焦模式下的快速全聚焦照片合成

    本文提出了一种新的 All-in-Focus (AIF) 照片综合方法，旨在通过智能手机主（广角）和超广角相机之间的拍摄，从一个场景的一次拍摄中生成清晰的 AIF 照片，并介绍了一个预测和细化网络方法来减轻挑战，并提出了动态频域对齐技术进行颜色校正。通过构建包括 2686 个独特场景数据集来验证 EasyAIF 方法，此方法可以高质量地生成 AIF 照片，并在定量和定性上优于已有的基线方法。

    Apr, 2023

  • Defocus 和 DNN：如何通过 DNN 利用 Defocus 模糊提高 3D 估计的深度

    本文提出了一种利用深度学习方法和从焦外模糊度生成深度图像的技术来预测在野外环境下的单张图像深度的系统，并通过实验证明，相较于清晰图像，焦外特征能够有效提升深度预测准确性。

    Sep, 2018