Mar, 2024

PQDynamicISP：面向追求感知质量的任意图像传感器的动态控制图像信号处理器

PDF
TL;DR通过动态控制，我们提出了一种由简单的传统 ISP 功能组成的轻量级 ISP，可以在各种环境和甚至局部动态地控制参数，达到了与基于 DNN 的 ISP 相媲美的最先进的准确性，并且比 DNN-based ISPs 更轻巧。此外，我们的方法可以通过动态控制处理不同的图像传感器，而传统方法需要为每个传感器进行训练。
发现论文，激发创造
  • DynamicISP: 动态控制的图像信号处理器用于图像识别

    本研究提出了一种名为 DynamicISP 的图像信号处理器，该处理器由多个经典 ISP 函数组成，根据前一帧的识别结果动态地控制每帧的参数，以达到在单一和多类目标检测任务中取得低计算成本和最先进的准确度的目的。

    Nov, 2022

  • 基于全局上下文引导的简单图像信号处理

    现代智能手机相机中，图像信号处理器（ISP）是将传感器的原始读数转换为用户可感知的 RGB 图像的核心元素。我们提出了一个可以捕捉全局上下文信息的模块，并利用该模块构建了一个高效且简单的神经 ISP，实现了对不同基准测试集的全分辨率真实智能手机图像的最新成果。

    Apr, 2024

  • 可重构相机图像处理管线

    研究了数字相机的关键组件：图像信号处理器（ISP），现有的 ISP 设计通常采用固定架构，该研究提出了一种新的可重构 ISP（ReconfigISP），其架构和参数可以自动调整到特定数据和任务，通过可微分的程序搜索来搜索最优的 ISP 架构，并在各种情况下维护代理网络的准确性。

    Sep, 2021

  • 使用非线性优化技术进行自动 ISP 图像质量调整

    本文提出一种使用非线性优化和自动生成算法进行自动 IQ 调整的方法，能够在短短几分钟内产生高质量的图像，并且适用于任何算法的处理模块。

    Feb, 2019

  • 基于深度学习的软件 ISP 方法综述

    本文研究了最近关于相机 ISP 的几个新型深度学习方法和研究成果，提供了深入分析和比较，包括结果和未来研究的潜在改进点。

    May, 2023

  • DeepISP：朝向学习端到端图像处理流程

    DeepISP 是一个全面的端到端深度神经模型，用于照相机图像信号处理（ISP）管道，学习从原始低光马赛克图像到最终具有视觉吸引力的图像的映射，并包括去马赛克、降噪以及色彩校正等低层次任务，以及更高层次的图像调整任务。该解决方案在 PSNR 的客观评估方面实现了最先进的性能，在完整的端到端管道中，相比制造商 ISP，在主观人类评估和由用于评估图像质量的深度模型评分时具有更好的视觉质量。

    Jan, 2018

  • 移动 NPU 上基于深度学习的智能手机 ISP 学习，Mobile AI 2021 挑战赛报告

    该研究提出了一种基于深度学习的图像信号处理流程来提高移动相机的感知性能，通过使用 Sony IMX586 Quad Bayer 移动传感器和专业的 102 百万像素中画幅相机拍摄的 RAW-RGB 图像对生成所作的全新学习型 ISP 数据集来评估该方法，其处理时间低于 100 毫秒且具有高保真度。

    May, 2021

  • 将智能手机转换为数码单反相机：在野外学习 ISP

    本文提出了可训练的图像信号处理框架，通过使用智能手机拍摄 RAW 图像，可以生成 DSLR 画质的图像，其中使用了色彩条件 ISP 网络和优化的参数色彩映射，在设计具有高效全局上下文模块的颜色预测网络的同时，使用了鲁棒的遮蔽对齐损失函数。同时推出了 ISP in the Wild（ISPW）数据集，并在两个数据集上取得了新的最先进的结果。

    Mar, 2022

  • GenISP: 低光环境下机器认知的神经 ISP

    在低光条件下进行物体检测仍然是一个具有许多实际应用的具有挑战性但重要的问题。我们提出了一种名为 GenISP 的最小神经 ISP 管线用于机器认知，它将颜色空间转换明确地融入到独立于设备的颜色空间中，以提高对未见的相机传感器的泛化性，同时与任何物体检测器配对。

    May, 2022

  • 基于可学习字典的模型化图像信号处理器

    该研究提出了一种混合模型和数据驱动的 ISP 技术，实现了 RAW 和 RGB 域的双向映射和参数学习，通过基于字典的数据增强方法，在 RAW 图像重建和去噪任务中实现了最先进的性能。

    Jan, 2022