Jul, 2023

LDP: 基于语言的双像素图像离焦去模糊网络

PDF
TL;DR从双像素（DP）对中恢复带有视差相关模糊的清晰图像是一项具有挑战性的任务。我们提出了第一个引入对比语言 - 图像自训练框架（CLIP）实现的无监督 DP 对模糊图估计的框架，通过精心设计的文本提示使 CLIP 能够理解 DP 对中与模糊相关的几何先验知识。在获得估计的模糊图之后，我们引入了一个模糊先验注意块、一个模糊加权损失和一个模糊感知损失来恢复全焦点图像。我们的方法在广泛的实验中达到了最先进的性能。
sharp imagesdual-pixel pairsblur map estimationclipall-in-focus image
发现论文，激发创造
  • 双像素探索：深度估计与图像修复的同时进行

    本文提出了一种数学的双像素模型，以获得双像素图像的深度信息，同时提出了一种同时估计深度和还原图像的端到端的深度去模糊网络 (DDDNet)，并定义了一个 reblur loss 来规范深度估计的训练，此外，作者还提出了双像素图像模拟器，可从现有的 RGBD 数据集创建双像素对数据集。经对合成和真实数据集的大量实验评估表明，与现有技术相比，我们的方法具有竞争性的性能。

    Dec, 2020

  • 通过多任务学习提高单张图片散焦去模糊的效果：双像素图像的帮助

    本研究提出了一种利用双像素传感器的多任务学习方法，用于单张图像的去模糊和深度估计，并通过实验证明，这种方法可以取得比其他最先进的方法更好的效果。

    Aug, 2021

  • 从单个双像素图像中估计离焦映射和去模糊

    该研究提出了一种基于双像素图像的无监督学习方法，通过同时估计图像的焦散图和所有点的聚焦图来减轻焦散的影响并生成全聚焦图。

    Oct, 2021

  • 语言能理解深度吗？

    本文提出一种名为 DepthCLIP 的方法，将基于对比学习的语言 - 图像预训练（CLIP）应用于零样本单目深度估计任务中，成功地将语义上的知识迁移到了更为复杂的几何量化目标中，而无需训练，超越了现有的无监督方法，甚至接近了早期的全监督网络。

    Jul, 2022

  • 使用双像素数据进行散焦去模糊

    该研究提出了一种有效的去除焦外模糊的方法，利用大多数现代相机上的双像素传感器捕获的数据，通过深度神经网络结构来减少焦外模糊，并且通过精心捕获的数据集来证明了该方法的可行性。

    May, 2020

  • 通过逼真地建模双像素数据来学习减少焦外模糊

    该研究提出一种通过合成数据生成具有现实意义的双像素数据，用于提升基于双像素数据捕获的单幅或多幅相机图像去模糊的结果，在视频去模糊的应用中具有广泛前景。

    Dec, 2020

  • 使用光场生成和实际虚焦图像进行去模糊学习

    本文提出了一种新型深层次解除虚焦模糊网络，它通过使用光场技术生成高度准确的图像配对，并使用 Feat?ure loss 技术改善二次拍摄方法捕捉到的图像失焦，取得了在多个测试集上的良好表现。

    Apr, 2022

  • 利用噪声 / 模糊图像对进行深度动态模糊去除

    本研究提出了使用深度神经网络结构 DeblurRNN 和 DeblurMerger 分别以序列和并行的方式利用成对图像中的噪声 / 模糊信息进行去模糊。使用梯度损失、对抗损失和谱归一化来提高训练。经过对合成数据集 GOPRO 和真实图像对的评估，结果表明所提出的方法在定性和定量上均优于现有技术。

    Nov, 2019

  • BLIP: 为实现统一的视觉语言理解与生成，引入语言 - 图像引导预训练

    本文提出了 BLIP 作为新的 VLP 框架，通过引入 captioner 生成合成字幕，并使用 filter 删除噪音数据，能灵活地传输视觉语言理解和生成任务，获得了在一系列视觉语言任务中最先进的结果，同时在零样本任务中也表现出极强的泛化能力。

    Jan, 2022

  • 通过双重去噪从 CLIP 学习稳健的 3D 表示

    本文探讨了一个关键但鲜为人知的问题：如何从预训练的视觉语言模型（如 CLIP）中学习到稳健且良好泛化的 3D 表示。我们提出了 Dual Denoising 框架，通过将基于去噪的代理任务与新颖的特征去噪网络相结合，从 CLIP 中学习鲁棒且良好泛化的 3D 表示。实验结果显示我们的模型能够在零样本设置下有效提高 3D 学习网络的表示学习性能和对抗鲁棒性。

    Jul, 2024