CCD 和 CMOS 光传感器中噪声的高级数值模拟:综述与教程
本文研究了 CMOS 图像传感器成像管线中的噪声统计,并制定了一种全面的噪声模型,以准确地表征真实的噪声结构。该模型可用于合成用于学习低光照度去噪算法的真实训练数据,并在多个低光照度去噪数据集上进行的实验表明,使用我们提出的噪声形成模型训练的深度神经网络可以达到惊人的高准确度。
Aug, 2021
提出一种基于 CMOS 光电传感器特性的高精度噪声形成模型,并基于此模型提出了一种用于校准现有数码相机噪声参数的简单复制方法。此模型使神经网络具备了使用丰富真实数据进行训练的能力,并应用于覆盖多个品牌数码相机的新低光噪声数据集中,获得了显著的降噪效果。
Mar, 2020
我们介绍了一种数据驱动框架,用于缓解 CMOS 相机的暗电流噪声和坏像素问题,该方法涉及像素聚类和函数拟合两个关键步骤。通过像素聚类,我们识别和分组表现出相似暗电流噪声特性的像素,随后在函数拟合步骤中,我们制定了根据 Arrhenius 定律描述的暗电流和温度之间的关系的函数。通过利用地面测试数据建立不同聚类中像素之间明确的温度 - 暗电流关系,可以从真实观测数据中估计暗电流噪声水平和检测坏像素。我们使用从 “阳旺一号” 卫星获得的真实观测数据进行了测试,并且结果显示出航天望远镜的检测效率显著提高。
Mar, 2024
本论文提出了一种基于数据驱动的方法来学习真实世界的噪声模型,该模型是相机感知的,可以学习不同摄像头传感器的不同噪声特性,实验证明这种方法优于现有的统计噪声模型和基于学习的方法。
Aug, 2020
本文介绍了通过直接从传感器的真实噪声中采样来合成噪声的新视角,并提出了两种有效的技术:基于模式对齐的图像块采样和高位重建来精确合成空间相关噪声和高位噪声。对 SIDD 和 ELD 数据集进行了系统实验,结果表明,该方法表现优于现有方法,对不同传感器和光照条件具有广泛的推广性,且 DNN-based 噪声建模方法不能胜过基于物理统计方法。
Oct, 2021
该论文提出了一个框架,通过仅依赖噪声图像对而不是噪声 / 清洁图像对,同时训练噪声模型和降噪器,应用于 Noise Flow 架构的训练。结果表明,该框架在噪声合成和密度估计方面优于先前的基于信号处理的噪声模型,并且与其受监督的对手相当,训练的降噪器也被证明显着改进了监督和无监督基线降噪方法,这表明降噪器和噪声模型的联合训练可以显著提高降噪器的性能。
Jun, 2022
本论文提出了一个基于深度神经网络的可控相机模拟器,能够在不同的相机设置下合成原始图像数据,包括曝光时间、ISO、光圈等,并且能够用于大光圈增强、HDR、自动曝光和数据增强等多个应用领域。同时,也是第一个利用传统原始传感器特征和数据驱动深度学习优势模拟相机传感器行为的尝试。
Apr, 2021
本文介绍了一种使用 Quanta Image Sensors 对暗光环境下的图像进行分类的解决方案,利用学生 - 教师学习方案可以实现每个像素仅有 1 个或更少光子的情况下的图像分类,实验结果验证了该方法的有效性。
Jun, 2020
本文提出使用 Quanta Image Sensors 进行低光动态场景成像的方法,并给出新的图像重建算法,通过运用一个学生 - 教师训练协议将运动教师和去噪教师的知识传递到学生网络中,实现对低光动态场景进行像素水平下 1 光子每像素每帧的成像重建,和现有方法相比,在低光成像中具有更好的性能。
Jul, 2020