基于 DNN 模型的独立传感器光照估计
使用深度神经网络及双映射策略,本研究提出一种可用于光照估计的方法,仅需要在 D65 条件下从测试传感器获取简单的白点,可生成映射矩阵,实现图像数据和光照的重构。通过对重构的光照作为真实值,采用轻量级多层感知器模型对重构的图像数据进行优化,该方法有效减少传感器间差异,并与领先的跨传感器方法性能相当。此方法仅需占用少量内存(约 0.003 MB),在 RTX3070Ti GPU 上训练仅需约 1 小时。更重要的是,该方法具有很快的实现速度,在 GPU 和 CPU 上分别为约 0.3 毫秒和约 1 毫秒,并且对输入图像分辨率不敏感。因此,它为行业面临的数据再收集的巨大挑战提供了实际解决方案。
Nov, 2023
本文提出了一个自动方法,通过使用一个有限的视野、低动态范围的室内场景的照片来推断高动态范围的照明。通过使用深度神经网络,我们训练了一个分类器来自动注释 LDR 环境地图中光源的位置,然后利用这些注释来预测场景中光的位置,从而 fine-tune 这个网络来预测每个光源的强度,可以自动获得高质量的 HDR 照明估计结果,从而可以实现逼真的照片级结果。
Apr, 2017
该论文提出了一种名为 “Neural Illumination” 的新方法,将光照预测分解成几个简单的不同 iable 子任务:几何估计、场景完成和 LDR-to-HDR 估计,并表明与以前的方法相比,该方法在定量和定性方面都得到了显着的改进。
Jun, 2019
本文提出了一种用于估计 RAW 图像中光源颜色的方法,包括一个使用特定设计的卷积神经网络来产生多个局部估计值的过程以及多光源检测器,用于决定网络的本地输出是聚合成单个估计值还是保持多个估计值。在标准数据集上进行实验,得到了与其他通用方法相比更低的估计误差率。
Aug, 2015
提出了一种方法,通过逆向渲染的物理原理来约束解决方案,同时利用神经网络来增强处理的计算能力,以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计,从而在 AR 情境下实现真实感增强。
Aug, 2020
本文介绍了一种基于卷积神经网络的方法来从低动态范围(LDR)图像中估算高动态范围(HDR)全景图的户外照明,通过训练网络并提取大量的输入图像与输出照明参数对,本文的方法允许恢复真实感照明条件并能从单一图像中实现逼真的虚拟物体插入。
Nov, 2016
本文提出了一种使用神经网络从单张 LDR 图像中预测 HDR 户外照明的方法,其核心是利用一种从任何天气条件下的 LDR 全景图精确学习 HDR 照明的方法。通过在合成和真实图像的组合上训练另一个 CNN 来实现以上方法,根据 Lalonde-Matthews 户外照明模型回归参数。该模型被训练来重建天空的外观,并呈现对象被此照明照亮后的外观。作者使用此网络标记了一个大规模的 LDR 全景数据集,并用它们来训练单张图像户外照明估计网络。实验证明,我们的全景和单张图像网络都优于现有技术,并且与先前的工作不同,能够处理从全晴天到阴天的各种天气状况。
Jun, 2019
该研究提出了一种基于贝叶斯框架的多假设策略来解决色彩恒常性问题,通过数据驱动的方式选择多个候选场景光源,并利用相机视觉无关的卷积神经网络对更正的图像进行似然估计,最后从后验概率分布中学习一个最终的光照估计,该方法在多个公共数据集上实现了最先进的准确性。
Feb, 2020
我们研发了一个深度学习网络,用于在各种照明条件下估算高光谱图像的照明光谱,并开发了一个数据集 IllumNet 来支持其研究,采用 ResNet18 网络和 3D 内核来适应光谱数据,并使用立方平滑样条误差成本函数平滑预测的照明光谱,实验结果表明该模型可以精确输入照明光谱。
May, 2023