学习相机感知噪声模型
本文研究了 CMOS 图像传感器成像管线中的噪声统计,并制定了一种全面的噪声模型,以准确地表征真实的噪声结构。该模型可用于合成用于学习低光照度去噪算法的真实训练数据,并在多个低光照度去噪数据集上进行的实验表明,使用我们提出的噪声形成模型训练的深度神经网络可以达到惊人的高准确度。
Aug, 2021
该论文提出了一个框架,通过仅依赖噪声图像对而不是噪声 / 清洁图像对,同时训练噪声模型和降噪器,应用于 Noise Flow 架构的训练。结果表明,该框架在噪声合成和密度估计方面优于先前的基于信号处理的噪声模型,并且与其受监督的对手相当,训练的降噪器也被证明显着改进了监督和无监督基线降噪方法,这表明降噪器和噪声模型的联合训练可以显著提高降噪器的性能。
Jun, 2022
提出一种基于 CMOS 光电传感器特性的高精度噪声形成模型,并基于此模型提出了一种用于校准现有数码相机噪声参数的简单复制方法。此模型使神经网络具备了使用丰富真实数据进行训练的能力,并应用于覆盖多个品牌数码相机的新低光噪声数据集中,获得了显著的降噪效果。
Mar, 2020
自主机器必须自我维持适当功能以确保人类和自身的安全,本研究主要研究了一个实时、内存高效和可靠的噪声源估计器,结合了数据和物理模型,用于检测相机的噪声源,通过分析相机元数据和图像来量化噪声的贡献。
Apr, 2024
通过模拟噪声的成像过程并将其应用于合成训练数据,评估了 3D 相机捕获数据中噪声的影响。通过构建特定场景的数据集,模型了侧向噪声(影响图像平面上捕获点的位置)和轴向噪声(影响垂直于图像平面的轴上的位置)。通过对渲染数据进行实验来评估添加人工噪声的附加益处,训练了一系列不同噪声水平的神经网络,并测量其在真实数据上的泛化能力。结果表明,使用过少或过多的噪声会损害网络性能,这表明从真实扫描仪获取噪声模型对于合成数据生成是有益的。
Feb, 2024
本文介绍了通过直接从传感器的真实噪声中采样来合成噪声的新视角,并提出了两种有效的技术:基于模式对齐的图像块采样和高位重建来精确合成空间相关噪声和高位噪声。对 SIDD 和 ELD 数据集进行了系统实验,结果表明,该方法表现优于现有方法,对不同传感器和光照条件具有广泛的推广性,且 DNN-based 噪声建模方法不能胜过基于物理统计方法。
Oct, 2021
该研究使用不同的噪声过程生成图像,并将其用作视觉表示学习者的训练数据。通过使用对比损失,研究两种类型的噪声过程,发现噪声需要捕捉真实数据的某些结构性质,但即使与真实数据差异很大的过程也可以实现良好的性能。多样性是学习良好表示的关键属性。
Jun, 2021
本文研究基于真实噪声模型的图像降噪方法,在相机管道中模拟真实的图像噪声和降噪,发现噪声模型对学习模型效果的提升有重要作用,通过模拟降噪和图片拼合进而提高噪声模型的真实度和效果。
Apr, 2019
通过使用生成模型来综合信号独立噪声,该方法可以同时学习不同 ISO 级别的噪声特性,并在各种传感器上进行泛化,通过傅里叶变换鉴别器准确区分噪声分布,验证结果显示该模型产生的噪声分布与实际噪声非常相似,对不同传感器进行去噪实验显示该方法在各个方面优于现有技术。
Jul, 2023
通过加入物理约束,我们设计了一种基于物理的去噪模型,能够提高实际应用中的传感器性能,而无需准确的干净数据作为训练依据,从而实现对成本较低的嘈杂传感器数据的实时去噪处理,达到与高成本替代方法相近的结果,提供更准确的传感器系统所需的高效、经济的方案。
Nov, 2023