Dec, 2023

压缩光场显示中的图像质量、均匀性和计算改进：基于 U-Net 的研究

PDF
TL;DR我们采用 U-Net 模型对压缩光场合成进行研究，与基于堆叠卷积神经网络和迭代算法的方法相比，该方法具有更好的图像质量、均匀性和较少的计算量。
发现论文，激发创造
  • 使用深度补偿展开网络增强低光光场图像

    这篇论文介绍了一种新颖且可解释的端到端学习框架，称为深度补偿展开网络（DCUNet），用于恢复在低光条件下捕捉的光场（LF）图像。DCUNet 设计了一个多阶段的架构，以数据驱动的方式模拟解决反向成像问题的优化过程。该框架使用中间增强的结果来估计光照图，然后在展开过程中使用该估计结果来产生新的增强结果。此外，DCUNet 在每个优化阶段包括一个内容相关的深度补偿模块，用于抑制噪声和光照图估计误差。为了正确挖掘和利用 LF 图像的独特特征，本文提出了一个伪显式特征交互模块，全面利用 LF 图像中的冗余信息。对模拟和真实数据集的实验结果定性定量地证明了我们的 DCUNet 相对于现有方法的优越性。此外，DCUNet 更好地保留了增强的 LF 图像的基本几何结构。代码将会公开在此 URL。

    Aug, 2023

  • 利用深度学习进行压缩光场重建

    本研究提出了使用新的、由自编码器和四维卷积神经网络组成的两个分支网络结构，深度学习途径来从单个编码的二维图像中恢复高分辨率的四维光场，以实现光场成像的实时视频采集系统的潜力。

    Feb, 2018

  • 使用轻量级卷积神经网络快速改善非均匀照明图像

    本文提出一种新的轻量级卷积神经网络（5k 参数），用于处理各种颜色、曝光、对比度、噪点和伪影等问题，实现非均匀照明图像增强，并通过半监督的修复方法，结合新数据集进行训练。该模型可在实时环境下（50 fps）快速增强图片，有效处理非均匀照明图像。

    May, 2020

  • Compressed Domain Text-Line Localization in Challenging Handwritten Documents using Deep Feature Learning from JPEG Coefficients

    在本文中，我们提出了一种在 JPEG 压缩领域中直接从 JPEG 压缩系数中进行深度特征学习以实现文本行定位的方法，通过使用一种改进的 U-Net 网络模型 Compressed Text-Line Localization Network (CompTLL-UNet)，在 ICDAR2017 (cBAD) 和 ICDAR2019 (cBAD) 的基准数据集的 JPEG 压缩版本上进行了训练和测试，并报告在 JPEG 压缩领域中以较低的存储和计算成本实现的最新性能。

    Aug, 2023

  • 学习核调制神经表示用于高效光场压缩

    本文提出了一种基于深度神经网络的光场压缩方法，采用描述性卷积核和调节卷积核相结合的策略使压缩后的数据更精简，同时保持较高的质量，并同时达到了视角的重建和合成。

    Jul, 2023

  • L^3U-net: 基于低延迟轻量级 U-net 的图像分割模型，适用于并行 CNN 处理器

    本研究提出了一种用于低资源边缘设备的小型图像分割模型 L^3U-net，引入了一种数据折叠技术，利用 CNN 加速器的并行卷积层处理能力，降低推理延迟，并将该模型部署到 MAX78000 设备，结果表明 L^3U-net 在两个不同的分割数据集上实现了 90% 以上的准确率，每秒处理 10 帧。

    Mar, 2022

  • MixNet: 高效有效的 UHD 低光图像增强

    本文提出了一种名为 MixNet 的新型低光图像增强方法，针对超高清图像进行设计，并通过全局特征调制层 (GFML)、局部特征调制层 (LFML) 和前馈层 (FFL) 等模块实现低光图像增强，具有少量模型参数和低计算复杂性。在合成和真实数据集上的广泛实验表明，作者提出的方法优于当前最先进的方法。

    Jan, 2024

  • 通过单张编码图像重建连续光场

    我们提出了一种方法，可以从单个观测图像中重建目标场景的连续光场。我们的方法综合了两个方面的优点：联合孔径曝光编码用于压缩光场获取以及神经辐射场（NeRF）用于视图合成，从而实现高质量的连续光场重建。

    Nov, 2023

  • 从少量图像中学习具有泛化能力的光场网络

    本文探讨了一种基于神经光场表示的少样本新视角合成策略，其使用了隐式神经网络将光线映射到目标像素的颜色，且通过由由粗略体积渲染产生的本地光线特征来确定网络的条件。该方法使用 3D ConvNet 构建的输入图像的 3D 特征体积，实现了比现有的神经辐射场方法更加快速且在合成和真实的 MVS 数据上取得了竞争性的性能。

    Jul, 2022

  • 一种低秩先验和深度卷积神经网络的光场超分辨率方法

    本文介绍了一种用于恢复整个光场并实现在所有子孔径图像上的一致性的学习空间光场超分辨率方法，其中算法先使用光流来对齐光场，然后使用低秩近似来减少其角度尺寸，最后通过 DCNN 来恢复超分辨率嵌入。实验结果表明，该方法优于现有的光场超分辨率算法，平均峰值信噪比相对于第二个最佳性能的方法提高了 0.23 dB; 并且还可以使用迭代反投影作为后处理步骤来进一步提高性能。

    Jan, 2018