Pseudo-ISP:从彩色图像降噪器中学习伪相机信号处理管道
DeepISP 是一个全面的端到端深度神经模型,用于照相机图像信号处理(ISP)管道,学习从原始低光马赛克图像到最终具有视觉吸引力的图像的映射,并包括去马赛克、降噪以及色彩校正等低层次任务,以及更高层次的图像调整任务。该解决方案在 PSNR 的客观评估方面实现了最先进的性能,在完整的端到端管道中,相比制造商 ISP,在主观人类评估和由用于评估图像质量的深度模型评分时具有更好的视觉质量。
Jan, 2018
在低光条件下进行物体检测仍然是一个具有许多实际应用的具有挑战性但重要的问题。我们提出了一种名为 GenISP 的最小神经 ISP 管线用于机器认知,它将颜色空间转换明确地融入到独立于设备的颜色空间中,以提高对未见的相机传感器的泛化性,同时与任何物体检测器配对。
May, 2022
本文提出了可训练的图像信号处理框架,通过使用智能手机拍摄 RAW 图像,可以生成 DSLR 画质的图像,其中使用了色彩条件 ISP 网络和优化的参数色彩映射,在设计具有高效全局上下文模块的颜色预测网络的同时,使用了鲁棒的遮蔽对齐损失函数。同时推出了 ISP in the Wild(ISPW)数据集,并在两个数据集上取得了新的最先进的结果。
Mar, 2022
通过统一多种相机模型的学习,提出了一种新颖的管线 Uni-ISP,利用设备感知的嵌入技术和特殊的训练方案,提高了逆向 / 正向 ISP 的性能,并解锁了多种新应用。同时,通过构建一个真实的 4K 数据集,证明了 Uni-ISP 在逆向 / 正向 ISP 方面的精确性以及其对新相机模型的适应性。
Jun, 2024
该研究提出了一种混合模型和数据驱动的 ISP 技术,实现了 RAW 和 RGB 域的双向映射和参数学习,通过基于字典的数据增强方法,在 RAW 图像重建和去噪任务中实现了最先进的性能。
Jan, 2022
现代智能手机相机中,图像信号处理器(ISP)是将传感器的原始读数转换为用户可感知的 RGB 图像的核心元素。我们提出了一个可以捕捉全局上下文信息的模块,并利用该模块构建了一个高效且简单的神经 ISP,实现了对不同基准测试集的全分辨率真实智能手机图像的最新成果。
Apr, 2024
提出了一种名为 CameraNet 的新型框架,采用两个 CNN 模块来处理图像恢复和图像增强两个相对独立的子任务,CamaraNet 通过两个模块逐步处理恢复和增强子任务,从而取得了比传统 ISP 管线更好的重建质量。
Aug, 2019
研究表明,使用 PyNET 可以使用单个端到端深度学习模型取代复杂的手工设计相机 ISP 解决方案,实现精细图像恢复,并将移动相机传感器直接获得的 RAW Bayer 数据转换为使用专业高端 DSLR 相机采集的相片,无需了解特定的移动 ISP 实现。
Feb, 2020
本文介绍了第二届 AIM 学习的 ISP 挑战赛的参赛队伍根据所提出的解决方案和结果。参赛者必须将由华为 P20 手机拍摄的原始低质量 RAW 图像映射到使用佳能 5D DSLR 相机获得的相同照片,该任务涵盖了许多复杂的计算机视觉子任务,例如图像重采样,去噪,白平衡,颜色和对比度校正等。挑战使用精度分数(PSNR 和 SSIM)和用户研究测量的解决方案的感知结果对目标指标进行评估。提出的解决方案显着改善了基线结果,定义了实际图像信号处理流水线建模的最新技术成果。
Nov, 2020