AAAIJan, 2022

基于可学习字典的模型化图像信号处理器

PDF
TL;DR该研究提出了一种混合模型和数据驱动的 ISP 技术，实现了 RAW 和 RGB 域的双向映射和参数学习，通过基于字典的数据增强方法，在 RAW 图像重建和去噪任务中实现了最先进的性能。
digital camerasraw image processinghybrid model-based and data-driven ispparameter representation learningraw image denoising
发现论文，激发创造
  • 基于全局上下文引导的简单图像信号处理

    现代智能手机相机中，图像信号处理器（ISP）是将传感器的原始读数转换为用户可感知的 RGB 图像的核心元素。我们提出了一个可以捕捉全局上下文信息的模块，并利用该模块构建了一个高效且简单的神经 ISP，实现了对不同基准测试集的全分辨率真实智能手机图像的最新成果。

    Apr, 2024

  • 可逆图像信号处理

    本研究提出了一个可逆的图像信号处理管线（InvISP），不仅可以呈现视觉上吸引人的 sRGB 图像，而且还允许恢复几乎完美的 RAW 数据。我们还集成了一个可微的 JPEG 压缩模拟器，使我们的框架能够从 JPEG 图像中重构 RAW 数据。大量的定量和定性实验表明，与替代方法相比，我们的方法在呈现 sRGB 图像和重构 RAW 数据方面获得了更高的质量。

    Mar, 2021

  • ParamISP：使用相机参数学习正向和逆向 ISP

    通过采用 ParamNet 这一新颖的神经网络模块来利用相机参数，我们提出了 ParamISP，一种用于 sRGB 和 RAW 图像之间的前向和反向转换的基于学习的方法，通过给定的 EXIF 数据中提供的相机参数，将其转换为特征向量来控制 ISP 网络。大量实验证明，与以前的方法相比，ParamISP 实现了更出色的 RAW 和 sRGB 重建结果，并且可以有效地应用于各种应用，例如数据集合成、RAW 去模糊、HDR 重建和相机之间的传输。

    Dec, 2023

  • 逆向图像信号处理与 RAW 重建。AIM 2022 挑战赛报告

    介绍了 AIM 2022 挑战，通过建立方法和基准，该挑战旨在解决如何从对应的 RGB 图像中恢复原始传感器图像的问题，并且得到了最新的结果，这对于其他任务可以产生潜在的益处。

    Oct, 2022

  • 将智能手机转换为数码单反相机：在野外学习 ISP

    本文提出了可训练的图像信号处理框架，通过使用智能手机拍摄 RAW 图像，可以生成 DSLR 画质的图像，其中使用了色彩条件 ISP 网络和优化的参数色彩映射，在设计具有高效全局上下文模块的颜色预测网络的同时，使用了鲁棒的遮蔽对齐损失函数。同时推出了 ISP in the Wild（ISPW）数据集，并在两个数据集上取得了新的最先进的结果。

    Mar, 2022

  • Pseudo-ISP：从彩色图像降噪器中学习伪相机信号处理管道

    本文介绍了一种使用未配对学习方案来调整色彩图像去噪器处理测试图像的方案，并使用学习的伪 ISP 和 rawRGB 噪声模型对真实噪声图像进行去噪，表明该方案对不同的去噪器都有效。

    Mar, 2021

  • BSRAW：提升盲目 RAW 图像超分辨率

    通过直接处理原始图像，设计了一个适用于训练原始传感器数据模型的逼真退化管道，以实现在原始领域盲目图像超分辨率，并提出了一个新的数据集和基准

    Dec, 2023

  • Rawformer: 可学习相机图像信号处理的无配对原始到原始翻译

    本论文提出了一种新的无监督学习方法 Rawformer，通过神经网络来进行不同相机之间的原始图像转换，实现了可学习的 ISP 在新的未知相机上的泛化，并在真实相机数据集上展示了优异的性能，提高了准确性并保持原始和转换后原始图像之间的更强关联。

    Apr, 2024

  • Uni-ISP：融合多个摄像头学习 ISP

    通过统一多种相机模型的学习，提出了一种新颖的管线 Uni-ISP，利用设备感知的嵌入技术和特殊的训练方案，提高了逆向 / 正向 ISP 的性能，并解锁了多种新应用。同时，通过构建一个真实的 4K 数据集，证明了 Uni-ISP 在逆向 / 正向 ISP 方面的精确性以及其对新相机模型的适应性。

    Jun, 2024

  • DeepISP：朝向学习端到端图像处理流程

    DeepISP 是一个全面的端到端深度神经模型，用于照相机图像信号处理（ISP）管道，学习从原始低光马赛克图像到最终具有视觉吸引力的图像的映射，并包括去马赛克、降噪以及色彩校正等低层次任务，以及更高层次的图像调整任务。该解决方案在 PSNR 的客观评估方面实现了最先进的性能，在完整的端到端管道中，相比制造商 ISP，在主观人类评估和由用于评估图像质量的深度模型评分时具有更好的视觉质量。

    Jan, 2018