CVPRMay, 2021

基于深度引导的图像重照的多模式分叉网络

PDF
TL;DR这篇研究论文介绍了一种基于深度学习的多模态分支网络 (MBNet) 方法，利用深度地图对图像进行照明重新校准，并通过动态膨胀金字塔模块进行解码以有效地使用图像和深度特征。同时，提出了一种新的数据处理流水线以增加训练数据的多样性。在 VIDIT 数据集上的实验表明，该方案在 NTIRE 2021 深度指导一对一照明挑战赛中达到了 SSIM 和 PMS 方面的第一名。
发现论文，激发创造
  • MSR-Net：用于一对一重照的多尺度重照网络

    通过使用堆叠深度多尺度分层网络，我们提出的解决方案在不同尺度的每个图像中聚合特征，可有效地从输入图像到目标图像转换图像照明设置，同时使用两个不同的损失函数，多步训练方法可显著提高性能，并实现光照变换的高质量重构，从而使照片增强成为无需人为干预的可能。

    Jul, 2021

  • 物理启发的密集融合网络用于重新照明

    本文提出了一种基于深度学习的图像去光照方法，将传统方法和深度学习模型相结合，并且通过物理洞察力量化来丰富神经网络，实现了对图像的更好去光照。

    May, 2021

  • S3Net：用于深度引导图像重照的单流结构

    本研究提出了一种基于深度引导的图像插值模型，使用神经网络的编码器解码器模型及注重照明有关区域的注意力模块和强化模块进行处理，实现了 NTIRE 2021 深度引导下任意图像照明挑战的第三高结构相似度。

    May, 2021

  • 深度照明网络：图像光源操作

    本文提出一种基于深度学习的图像重照明网络，包括场景重建、阴影先验估计和渲染器，能够在无需几何结构信息的情况下使图像在新的光源方向下重照明，并在 AIM2020 - Any to one relighting challenge 中取得最佳 PSNR 的成果。

    Aug, 2020

  • 单目深度估计的双向注意力网络

    本文提出一种双向注意力网络（BANet）用于单目深度估计，通过利用神经机器翻译的概念基础和引入双向注意力模块，该方法能够高效地将局部和全局信息相融合，并在 KITTI 和 DIODE 数据集上显著优于传统的前馈模型以及其他现有的单目深度估计方法。

    Sep, 2020

  • 基于分叉骨架策略的 RGB-D 显著目标检测

    本研究提出了一种用于 RGB-D 显著目标检测的新型级联精炼网络架构，采用分叉骨干策略（BBS）将多层特征分为教师和学生特征，使用增强深度模块（DEM）从通道和空间视图中挖掘信息深度线索，并以互补方式融合 RGB 和深度模态。实验证明，该方法在五个评估指标下显著优于十八个先进模型，是一种高效且无依赖骨干的多模式学习策略。

    Jul, 2020

  • WDRN：一种用于图像照明的小波分解补光网络

    本文介绍了一种基于小波分解的编码器 - 解码器网络，命名为 WDRN，用于解决一对一的照明重新校准问题，提出了一种名为 gray loss 的新型损失函数以保证对地真图像中照明的梯度在不同方向上的高效学习，该方案在 AIM2020 工作坊的 relighting 挑战活动中获得了第一名。

    Sep, 2020

  • 多视角立体下的自由视点室内神经光照重构

    利用卷积神经网络构建的光照算法，可以实时改变室内场景的光照，并保持了物体的阴影和光泽材质，从而实现自由视点浏览。

    Jun, 2021

  • 基于双层快速场景适应的低光图像增强

    该研究通过统计分析，构建了一种双层学习框架来解决计算机视觉中增强低光场景中的图像的问题，并提出了新的 Retinex 诱导架构。在多个数据集上进行的实验表明，该模型具有良好的适应性和表现优越性。

    Jun, 2023

  • Relit-NeuLF: 基于神经网络的高效重新照明和新视角综合

    本文提出了一种分析 - 合成方法 Relit-NeuLF，通过使用两平面光场表示对 4D 坐标系统的每条光线进行参数化，以实现对复杂场景的同时重照和新视角合成；通过自监督学习方法，该方法能够恢复三维场景的空间变化的双向反射分布函数（SVBRDF）；通过将每条光线映射到其 SVBRDF 组成部分（漫反射、法线和粗糙度）以及灯光方向的条件，实现光线颜色的合成；综合实验证明，该方法在合成数据和真实世界人脸数据上都具有高效和有效的性能，并且优于最先进的结果。

    Oct, 2023