Dec, 2020

双像素探索：深度估计与图像修复的同时进行

PDF
TL;DR本文提出了一种数学的双像素模型，以获得双像素图像的深度信息，同时提出了一种同时估计深度和还原图像的端到端的深度去模糊网络 (DDDNet)，并定义了一个 reblur loss 来规范深度估计的训练，此外，作者还提出了双像素图像模拟器，可从现有的 RGBD 数据集创建双像素对数据集。经对合成和真实数据集的大量实验评估表明，与现有技术相比，我们的方法具有竞争性的性能。
dual-pixeldepth estimationdeblur networkreblur lossimage simulation
发现论文，激发创造
  • 通过多任务学习提高单张图片散焦去模糊的效果：双像素图像的帮助

    本研究提出了一种利用双像素传感器的多任务学习方法，用于单张图像的去模糊和深度估计，并通过实验证明，这种方法可以取得比其他最先进的方法更好的效果。

    Aug, 2021

  • 从单个双像素图像中估计离焦映射和去模糊

    该研究提出了一种基于双像素图像的无监督学习方法，通过同时估计图像的焦散图和所有点的聚焦图来减轻焦散的影响并生成全聚焦图。

    Oct, 2021

  • LDP: 基于语言的双像素图像离焦去模糊网络

    从双像素（DP）对中恢复带有视差相关模糊的清晰图像是一项具有挑战性的任务。我们提出了第一个引入对比语言 - 图像自训练框架（CLIP）实现的无监督 DP 对模糊图估计的框架，通过精心设计的文本提示使 CLIP 能够理解 DP 对中与模糊相关的几何先验知识。在获得估计的模糊图之后，我们引入了一个模糊先验注意块、一个模糊加权损失和一个模糊感知损失来恢复全焦点图像。我们的方法在广泛的实验中达到了最先进的性能。

    Jul, 2023

  • 使用双像素学习单目摄像机深度估计

    通过使用现代摄像头上越来越常见的双像素自动对焦硬件，识别深度估计中的不确定性并开发了一种方法解决它，使基于学习的方法可以很好地应用于双像素图像，提高了成像质量。

    Apr, 2019

  • 使用单个双像素相机进行面部深度和法向估计

    本文介绍了一个 DP Depth/Normal 网络，通过收集超过 135K 张 DP 面部数据实现了 3D 面部几何重建，该网络具有自适应采样模块和自适应法线模块，可处理 DP 图像中的虚焦模糊区域，并实现了是取得最新的 DP-based 深度 / 法线估计方法的最优表现，同时也展示了该面部深度 / 法线估计在面部欺骗和光照方面的应用。

    Nov, 2021

  • 通过逼真地建模双像素数据来学习减少焦外模糊

    该研究提出一种通过合成数据生成具有现实意义的双像素数据，用于提升基于双像素数据捕获的单幅或多幅相机图像去模糊的结果，在视频去模糊的应用中具有广泛前景。

    Dec, 2020

  • Du$^2$Net: 双摄像头和双像素深度估计模型学习

    本文提出了一种基于神经网络的方法，将双目摄像机的立体匹配与双像素传感器的立体匹配相结合，以实现精准的景深图像，避免了前人研究中存在的模糊和匹配错误等问题，该方法对计算机摄影应用具有重要意义。

    Mar, 2020

  • 使用双像素数据进行散焦去模糊

    该研究提出了一种有效的去除焦外模糊的方法，利用大多数现代相机上的双像素传感器捕获的数据，通过深度神经网络结构来减少焦外模糊，并且通过精心捕获的数据集来证明了该方法的可行性。

    May, 2020

  • 从 dpMV 到双像素的立体知识蒸馏用于光场视频重建

    通过引入高精度的暗立体知识到高效的双像素学生网络中，本研究提出的暗知识蒸馏方法在利用双像素进行视觉重建任务中超越了单眼解决方案，尤其在前景和背景分离的困难区域表现出众，并通过 dpMV 数据集进行验证。此外，研究还展示了通过隐式暗知识蒸馏和教师集合对光场视频重建的非传统应用，该方法是目前最快且时间上最一致的，同时具备高参数效率、隐式消隐处理、零样本跨数据集转移、几何一致的高分辨率空间角度推理和自适应基线控制等多种特性。

    May, 2024

  • 被动快照编码孔径双像素 RGB-D 成像

    通过使用 CADS 方法，我们在紧凑而被动的形式下借助双像素传感器实现了准确的 RGB-D 重建结果。

    Feb, 2024