GenISP: 低光环境下机器认知的神经 ISP
DeepISP 是一个全面的端到端深度神经模型,用于照相机图像信号处理(ISP)管道,学习从原始低光马赛克图像到最终具有视觉吸引力的图像的映射,并包括去马赛克、降噪以及色彩校正等低层次任务,以及更高层次的图像调整任务。该解决方案在 PSNR 的客观评估方面实现了最先进的性能,在完整的端到端管道中,相比制造商 ISP,在主观人类评估和由用于评估图像质量的深度模型评分时具有更好的视觉质量。
Jan, 2018
现代智能手机相机中,图像信号处理器(ISP)是将传感器的原始读数转换为用户可感知的 RGB 图像的核心元素。我们提出了一个可以捕捉全局上下文信息的模块,并利用该模块构建了一个高效且简单的神经 ISP,实现了对不同基准测试集的全分辨率真实智能手机图像的最新成果。
Apr, 2024
本文介绍了一种使用未配对学习方案来调整色彩图像去噪器处理测试图像的方案,并使用学习的伪 ISP 和 rawRGB 噪声模型对真实噪声图像进行去噪,表明该方案对不同的去噪器都有效。
Mar, 2021
本文提出了可训练的图像信号处理框架,通过使用智能手机拍摄 RAW 图像,可以生成 DSLR 画质的图像,其中使用了色彩条件 ISP 网络和优化的参数色彩映射,在设计具有高效全局上下文模块的颜色预测网络的同时,使用了鲁棒的遮蔽对齐损失函数。同时推出了 ISP in the Wild(ISPW)数据集,并在两个数据集上取得了新的最先进的结果。
Mar, 2022
MetaISP 是一个单一模型,旨在学习如何在不同设备间转换颜色和局部对比特征,通过轻量级深度学习技术基于设备的相关特征生成 RGB 图片,并利用受交叉协方差启发的新型注意力机制学习全局场景语义,并在场景光源不可用时利用伴随原始图像的元数据进行估计。
Jan, 2024
通过统一多种相机模型的学习,提出了一种新颖的管线 Uni-ISP,利用设备感知的嵌入技术和特殊的训练方案,提高了逆向 / 正向 ISP 的性能,并解锁了多种新应用。同时,通过构建一个真实的 4K 数据集,证明了 Uni-ISP 在逆向 / 正向 ISP 方面的精确性以及其对新相机模型的适应性。
Jun, 2024
该研究建立了高分辨率夜间 RAW-RGB 数据集,并开发了 CBUnet,一个二阶段的神经网络图像信号处理方案,以应对夜间光照特性不明确的问题,实验结果表明,该方法相较于传统 ISP 管道具有更好的视觉效果,并在 NTIRE 2022 夜间摄影渲染挑战赛上排名第二。
Apr, 2022
研究了数字相机的关键组件:图像信号处理器(ISP),现有的 ISP 设计通常采用固定架构,该研究提出了一种新的可重构 ISP(ReconfigISP),其架构和参数可以自动调整到特定数据和任务,通过可微分的程序搜索来搜索最优的 ISP 架构,并在各种情况下维护代理网络的准确性。
Sep, 2021