CVPRMar, 2020

大规模瞬态压缩成像的即插即用算法

PDF
TL;DR本文提出了基于插拔法框架的快速灵活的 SCI 算法 PnP-GAP，相比于 PnP-ADMM 方法，具有更低的计算工作量。同时，通过采用深度去噪先验，我们第一次展示了 PnP 可以从快照 2D 测量中恢复 UHD 彩色视频。研究结果表明，我们提出的算法具有明显的优势。
snapshot compressive imagingplug-and-play frameworkreconstruction algorithmspnp-admm methodpnp-gap algorithm
发现论文，激发创造
  • 视频快照压缩成像的即插即用算法

    本文利用 PnP 框架开发出灵活快速的算法，用于解决视频快照 SCI 的重建问题，同时将所提出的 PnP 算法扩展到彩色 SCI 系统上，实现了对灰度、彩色视频的高质量、灵活重建。

    Jan, 2021

  • 非训练的神经网络用于快照压缩成像：理论和算法

    通过使用未经训练的神经网络（UNNs）模拟源结构，我们开发了一种理论框架来表征这些 UNN 方法的性能，同时利用最近提出的袋装深度图像先验（bagged-DIP）思想开发了快照压缩成像（SCI）袋装深度视频先验（SCI-BDVP）算法，在视频 SCI 中实现了最新技术，甚至在噪声测量情况下优于半监督解决方案。

    Jun, 2024

  • 用于快照压缩成像的 GAP 网络

    本文提出了一种基于深度展开思想的 SCI 恢复算法，即 GAP-net，该算法在交替投影（GAP）算法的基础上进行展开，其中 CNN 作为去噪器，将当前的信号估计投影回所需的信号空间。通过证明，对于基于自编码器的去噪器的 GAP-net，我们得到了一种概率全局收敛的结果。最后，我们研究了 GAP-net 在解决视频 SCI 和光谱 SCI 问题时的表现。

    Dec, 2020

  • 大规模视频压缩感知的内存高效网络

    本文介绍一种基于多组可逆 3D 卷积神经网络的内存高效型网络，用于压缩成像 (SCI)，并将 demosaicing 与 SCI 重建相结合，以直接从 Bayer 测量中恢复彩色视频。实验表明，我们的模型在大规模问题中优于现有的最先进技术，并且内存使用更少，因此可在实际应用中使用。

    Mar, 2021

  • 基于排名最小化的瞬间压缩成像

    通过利用所需信号的高维结构来提高快照压缩成像 (Snapshot compressive imaging, SCI) 的重建质量，本文通过构建联合模型将视频 / 高光谱帧的非局部自相似性和秩极小化方法与 SCI 传感过程相结合，提出交替最小化算法来解决这个非凸问题，并在 SCI 的采样过程中进行特殊结构的研究，以解决 SCI 重建中的计算和内存问题。仿真和实测结果均表明，与目前最先进的算法相比，我们提出的算法可以显著地提高重建质量。

    Jul, 2018

  • 高效 SCI：稠密连接网络结合时空分解进行大规模视频快照压缩成像

    本文提出了一种名为 EfficientSCI 的高效深度学习网络，使用含有密集连接和时空分解机制的单个残差块，通过卷积和 Transformer 等操作，在单一暴光时间内重建视频快照，从而解决了过度模型复杂性和 GPU 内存限制等问题，实验结果表明该算法可以显著优于当前所有先进技术算法，PSNR 值高达 32 dB 以上。

    May, 2023

  • 深度光学视频快照压缩成像

    本研究提出了一个深度光学框架来优化掩膜和重建网络，以解决视频快照压缩成像中的动态范围和深度学习算法退化的挑战。通过引入结构掩膜实现对运动感知和全动态范围的测量，并使用 Transformer 开发了一个高效的网络用于视频快照压缩成像重建。在实验中验证了所提出框架的有效性，认为这是实现真实世界视频快照压缩成像的一个里程碑。

    Apr, 2024

  • 10K FPS 的事件增强快照压缩摄影

    通过结合事件相机和视频快照压缩成像技术，提出了一种新颖的混合 “强度 + 事件” 成像方案，利用双路径光学系统记录编码强度测量和中间事件信号，通过双分支 Transformer 解码密集视频帧，实现了以 0.1 毫秒时间间隔进行高质量的快照压缩成像。

    Apr, 2024

  • 自监督神经网络用于光谱瞬间压缩成像

    本文提出了一种结合 DIP 的插入式自监督网络框架，使用未经训练的神经网络解决了快照压缩成像的光谱重建问题，实验证明该算法可以在不使用大量模拟数据的情况下取得与基于训练的网络相媲美的性能，并可与预训练的深度去噪先验结合以获得最先进的结果。

    Aug, 2021

  • SCINeRF：快照压缩图像中的神经辐射场

    我们研究了利用快照压缩成像（SCI）技术从单个时态压缩图像中恢复底层 3D 场景表示的潜力。我们的方法基于神经辐射场（NeRF）的强大 3D 场景表示能力，将 SCI 的物理成像过程作为 NeRF 的训练的一部分，从而在捕捉复杂场景结构方面具有出色的性能，并通过使用合成数据和真实数据进行广泛的评估，显示了在图像重建和新视图图像合成方面超越了最先进的方法。

    Mar, 2024