MetaISP -- 利用全球场景结构进行准确的多设备色彩还原
现代智能手机相机中,图像信号处理器(ISP)是将传感器的原始读数转换为用户可感知的 RGB 图像的核心元素。我们提出了一个可以捕捉全局上下文信息的模块,并利用该模块构建了一个高效且简单的神经 ISP,实现了对不同基准测试集的全分辨率真实智能手机图像的最新成果。
Apr, 2024
本文提出了可训练的图像信号处理框架,通过使用智能手机拍摄 RAW 图像,可以生成 DSLR 画质的图像,其中使用了色彩条件 ISP 网络和优化的参数色彩映射,在设计具有高效全局上下文模块的颜色预测网络的同时,使用了鲁棒的遮蔽对齐损失函数。同时推出了 ISP in the Wild(ISPW)数据集,并在两个数据集上取得了新的最先进的结果。
Mar, 2022
在低光条件下进行物体检测仍然是一个具有许多实际应用的具有挑战性但重要的问题。我们提出了一种名为 GenISP 的最小神经 ISP 管线用于机器认知,它将颜色空间转换明确地融入到独立于设备的颜色空间中,以提高对未见的相机传感器的泛化性,同时与任何物体检测器配对。
May, 2022
通过统一多种相机模型的学习,提出了一种新颖的管线 Uni-ISP,利用设备感知的嵌入技术和特殊的训练方案,提高了逆向 / 正向 ISP 的性能,并解锁了多种新应用。同时,通过构建一个真实的 4K 数据集,证明了 Uni-ISP 在逆向 / 正向 ISP 方面的精确性以及其对新相机模型的适应性。
Jun, 2024
DeepISP 是一个全面的端到端深度神经模型,用于照相机图像信号处理(ISP)管道,学习从原始低光马赛克图像到最终具有视觉吸引力的图像的映射,并包括去马赛克、降噪以及色彩校正等低层次任务,以及更高层次的图像调整任务。该解决方案在 PSNR 的客观评估方面实现了最先进的性能,在完整的端到端管道中,相比制造商 ISP,在主观人类评估和由用于评估图像质量的深度模型评分时具有更好的视觉质量。
Jan, 2018
该研究提出了一种基于深度学习的图像信号处理流程来提高移动相机的感知性能,通过使用 Sony IMX586 Quad Bayer 移动传感器和专业的 102 百万像素中画幅相机拍摄的 RAW-RGB 图像对生成所作的全新学习型 ISP 数据集来评估该方法,其处理时间低于 100 毫秒且具有高保真度。
May, 2021
本文介绍了一种使用未配对学习方案来调整色彩图像去噪器处理测试图像的方案,并使用学习的伪 ISP 和 rawRGB 噪声模型对真实噪声图像进行去噪,表明该方案对不同的去噪器都有效。
Mar, 2021
本研究提出了一种名为 DynamicISP 的图像信号处理器,该处理器由多个经典 ISP 函数组成,根据前一帧的识别结果动态地控制每帧的参数,以达到在单一和多类目标检测任务中取得低计算成本和最先进的准确度的目的。
Nov, 2022
手机相机图像处理中 RAW 转 sRGB 映射是一项重要的研究领域,现有方法往往忽视了手机 RAW 图像和单反相机 RGB 图像之间的差异,我们提出了一种名为 FourierISP 的新型神经 ISP 框架,该方法通过在频域内独立优化图像的风格和结构,使得色彩和结构同时得到增强,广泛的数据集评估表明我们的方法达到了最先进的效果。
Jan, 2024