Dec, 2023

ParamISP：使用相机参数学习正向和逆向 ISP

PDF
TL;DR通过采用 ParamNet 这一新颖的神经网络模块来利用相机参数，我们提出了 ParamISP，一种用于 sRGB 和 RAW 图像之间的前向和反向转换的基于学习的方法，通过给定的 EXIF 数据中提供的相机参数，将其转换为特征向量来控制 ISP 网络。大量实验证明，与以前的方法相比，ParamISP 实现了更出色的 RAW 和 sRGB 重建结果，并且可以有效地应用于各种应用，例如数据集合成、RAW 去模糊、HDR 重建和相机之间的传输。
发现论文，激发创造
  • Uni-ISP：融合多个摄像头学习 ISP

    通过统一多种相机模型的学习，提出了一种新颖的管线 Uni-ISP，利用设备感知的嵌入技术和特殊的训练方案，提高了逆向 / 正向 ISP 的性能，并解锁了多种新应用。同时，通过构建一个真实的 4K 数据集，证明了 Uni-ISP 在逆向 / 正向 ISP 方面的精确性以及其对新相机模型的适应性。

    Jun, 2024

  • 基于可学习字典的模型化图像信号处理器

    该研究提出了一种混合模型和数据驱动的 ISP 技术，实现了 RAW 和 RGB 域的双向映射和参数学习，通过基于字典的数据增强方法，在 RAW 图像重建和去噪任务中实现了最先进的性能。

    Jan, 2022

  • 将智能手机转换为数码单反相机：在野外学习 ISP

    本文提出了可训练的图像信号处理框架，通过使用智能手机拍摄 RAW 图像，可以生成 DSLR 画质的图像，其中使用了色彩条件 ISP 网络和优化的参数色彩映射，在设计具有高效全局上下文模块的颜色预测网络的同时，使用了鲁棒的遮蔽对齐损失函数。同时推出了 ISP in the Wild（ISPW）数据集，并在两个数据集上取得了新的最先进的结果。

    Mar, 2022

  • 可逆图像信号处理

    本研究提出了一个可逆的图像信号处理管线（InvISP），不仅可以呈现视觉上吸引人的 sRGB 图像，而且还允许恢复几乎完美的 RAW 数据。我们还集成了一个可微的 JPEG 压缩模拟器，使我们的框架能够从 JPEG 图像中重构 RAW 数据。大量的定量和定性实验表明，与替代方法相比，我们的方法在呈现 sRGB 图像和重构 RAW 数据方面获得了更高的质量。

    Mar, 2021

  • Rawformer: 可学习相机图像信号处理的无配对原始到原始翻译

    本论文提出了一种新的无监督学习方法 Rawformer，通过神经网络来进行不同相机之间的原始图像转换，实现了可学习的 ISP 在新的未知相机上的泛化，并在真实相机数据集上展示了优异的性能，提高了准确性并保持原始和转换后原始图像之间的更强关联。

    Apr, 2024

  • GenISP: 低光环境下机器认知的神经 ISP

    在低光条件下进行物体检测仍然是一个具有许多实际应用的具有挑战性但重要的问题。我们提出了一种名为 GenISP 的最小神经 ISP 管线用于机器认知，它将颜色空间转换明确地融入到独立于设备的颜色空间中，以提高对未见的相机传感器的泛化性，同时与任何物体检测器配对。

    May, 2022

  • 过度曝光蒙版融合：通用逆 ISP 多步细化

    本文介绍了一种新的 RAW 重建方法，通过多步骤的细化处理及集成曝光掩膜等创新点，将图像从 RGB 转为 demosaiced RAW，从而通过感知损失函数显著提高了性能，并且同时具有通用性，可应用于增强其他高性能学习方法。

    Oct, 2022

  • Pseudo-ISP：从彩色图像降噪器中学习伪相机信号处理管道

    本文介绍了一种使用未配对学习方案来调整色彩图像去噪器处理测试图像的方案，并使用学习的伪 ISP 和 rawRGB 噪声模型对真实噪声图像进行去噪，表明该方案对不同的去噪器都有效。

    Mar, 2021

  • 逆向图像信号处理与 RAW 重建。AIM 2022 挑战赛报告

    介绍了 AIM 2022 挑战，通过建立方法和基准，该挑战旨在解决如何从对应的 RGB 图像中恢复原始传感器图像的问题，并且得到了最新的结果，这对于其他任务可以产生潜在的益处。

    Oct, 2022

  • DeepISP：朝向学习端到端图像处理流程

    DeepISP 是一个全面的端到端深度神经模型，用于照相机图像信号处理（ISP）管道，学习从原始低光马赛克图像到最终具有视觉吸引力的图像的映射，并包括去马赛克、降噪以及色彩校正等低层次任务，以及更高层次的图像调整任务。该解决方案在 PSNR 的客观评估方面实现了最先进的性能，在完整的端到端管道中，相比制造商 ISP，在主观人类评估和由用于评估图像质量的深度模型评分时具有更好的视觉质量。

    Jan, 2018