基于双映射策略的实用跨传感器色彩恒常性

Nov, 2023

基于双映射策略的实用跨传感器色彩恒常性

Practical cross-sensor color constancy using a dual-mapping strategy

Shuwei Yue, Minchen Wei

TL;DR使用深度神经网络及双映射策略，本研究提出一种可用于光照估计的方法，仅需要在 D65 条件下从测试传感器获取简单的白点，可生成映射矩阵，实现图像数据和光照的重构。通过对重构的光照作为真实值，采用轻量级多层感知器模型对重构的图像数据进行优化，该方法有效减少传感器间差异，并与领先的跨传感器方法性能相当。此方法仅需占用少量内存（约 0.003 MB），在 RTX3070Ti GPU 上训练仅需约 1 小时。更重要的是，该方法具有很快的实现速度，在 GPU 和 CPU 上分别为约 0.3 毫秒和约 1 毫秒，并且对输入图像分辨率不敏感。因此，它为行业面临的数据再收集的巨大挑战提供了实际解决方案。

Abstract

deep neural networks (DNNs) have been widely used for illumination estimation, which is time-consuming and requires sensor-specific data collection. Our proposed method uses a dual-mapping strategy and only requi

deep neural networks illumination estimation dual-mapping strategy cross-sensor methods data recollection

发现论文，激发创造

基于 DNN 模型的独立传感器光照估计

该论文提出了一种新颖的传感器无关光源估计框架，通过学习传感器无关的工作空间来解决为每种类型的相机传感器训练单独的深度神经网络模型的问题。

Dec, 2019

一种多假设的色彩恒常性方法

该研究提出了一种基于贝叶斯框架的多假设策略来解决色彩恒常性问题，通过数据驱动的方式选择多个候选场景光源，并利用相机视觉无关的卷积神经网络对更正的图像进行似然估计，最后从后验概率分布中学习一个最终的光照估计，该方法在多个公共数据集上实现了最先进的准确性。

Feb, 2020

使用 CNN 的色彩恒常性

利用卷积神经网络对场景照明进行精确预测，在空间域中以图像块为输入，不使用手工制作的特征，该网络包括一个卷积层、一个最大池化层、一个全连接层和三个输出节点，将特征学习和回归一体化到一个优化过程中，在常规的 RAW 图像数据集上取得了最新成果，对具有空间变化照明的图像的初步实验表明 CNN 局部光源估计能力的稳定性。

Apr, 2015

快速的空间变化室内照明估计

本研究提出了一种实时方法来从单个 RGB 图像估计空间变化的室内照明，使用一个 CNN 模型，它可以在少于 20ms 的时间内在笔记本电脑移动图形卡上预测给定位置处的照明情况，并且不需要任何几何信息，可以直接用于增强现实应用，可以实时在场景中的任何位置更改虚拟物体的光照效果。经过定量实验和用户研究，我们的方法比现有方法具有更低的照明估计误差和更好的用户体验。

Jun, 2019

利用深度学习对计算机颜色恒常性问题进行分类处理

本文采用深度学习框架来解决计算机颜色恒常性问题，使用卷积神经网络将颜色恒常性问题视为照明分类问题，设计深度学习架构以直接用于计算照明颜色，实验结果表明我们的深度网络能够提取有用特征用于照明估计，且在多个测试数据集上性能优于所有先前的颜色恒常方法。

Aug, 2016

物理启发的密集融合网络用于重新照明

本文提出了一种基于深度学习的图像去光照方法，将传统方法和深度学习模型相结合，并且通过物理洞察力量化来丰富神经网络，实现了对图像的更好去光照。

May, 2021

从 RGB 和稀疏感知估计深度

本研究提出了一种深度模型，能在极少的像素点处获得 RGB 图像的已知深度情况下，精确地生成密集深度图，并能在 NYUv2 和 KITTI 数据集上实现近乎实时速度的室内 / 室外场景的高质量深度点云。与其他稀疏到密集深度方法相比，在每～10000 个像素中仅有一个像素的情况下，我们的深度估计准确度比现有最新算法还要高，仅在图像 1/256 的像素上估计，我们的精度就相当于消费级深度传感器的性能，本研究说明了将稀疏深度测量（如低功率深度传感器或 SLAM 系统获得）高效地转换成高质量的密集深度图是完全可能的。

Apr, 2018

语义白平衡：使用卷积神经网络的语义色彩恒常性

本文利用图像语义分割的信息，结合输入图像的颜色和空间信息，训练了一个 CNN 模型来消除场景照明造成的色偏，试验结果表明，利用 CNN 模型的图像语义分割信息可以将误差减少超过 40%。

Feb, 2018

学习从 3D 物体估计室内照明

本文提出了一种基于深度学习和编码隐空间技术，利用包含 21000 个高动态范围室内环境地图的数据集，从单张室内物体图片中准确预测环境光的方法。

Jun, 2018

多光源色彩恒常性的生成模型

本文提出了一个基于物理的多光源颜色恒常性方法，利用 GAN 将照明估计问题建模为图像到图像域转换问题，并提出了一种新型的多照明数据增强方法，实验证明该方法优于现有工作。

Sep, 2021