May, 2023

高效 SCI：稠密连接网络结合时空分解进行大规模视频快照压缩成像

PDF
TL;DR本文提出了一种名为 EfficientSCI 的高效深度学习网络，使用含有密集连接和时空分解机制的单个残差块，通过卷积和 Transformer 等操作，在单一暴光时间内重建视频快照，从而解决了过度模型复杂性和 GPU 内存限制等问题，实验结果表明该算法可以显著优于当前所有先进技术算法，PSNR 值高达 32 dB 以上。
video snapshot compressive imagingreconstruction algorithmdeep learning-baseddense connectionsspace-time factorization mechanism
发现论文，激发创造
  • 大规模视频压缩感知的内存高效网络

    本文介绍一种基于多组可逆 3D 卷积神经网络的内存高效型网络，用于压缩成像 (SCI)，并将 demosaicing 与 SCI 重建相结合，以直接从 Bayer 测量中恢复彩色视频。实验表明，我们的模型在大规模问题中优于现有的最先进技术，并且内存使用更少，因此可在实际应用中使用。

    Mar, 2021

  • 深度光学视频快照压缩成像

    本研究提出了一个深度光学框架来优化掩膜和重建网络，以解决视频快照压缩成像中的动态范围和深度学习算法退化的挑战。通过引入结构掩膜实现对运动感知和全动态范围的测量，并使用 Transformer 开发了一个高效的网络用于视频快照压缩成像重建。在实验中验证了所提出框架的有效性，认为这是实现真实世界视频快照压缩成像的一个里程碑。

    Apr, 2024

  • MetaSCI: 视频压缩感知的可扩展和自适应重构

    该研究论文提出了一种名为 MetaSCI 的元调制卷积网络，用于高速视频快照压缩成像（video snapshot compressive imaging，简称 SCI）重建，该方法能够快速适应新的掩码并扩展到大规模数据，并在实验中展示出优异性能。

    Mar, 2021

  • 大规模瞬态压缩成像的即插即用算法

    本文提出了基于插拔法框架的快速灵活的 SCI 算法 PnP-GAP，相比于 PnP-ADMM 方法，具有更低的计算工作量。同时，通过采用深度去噪先验，我们第一次展示了 PnP 可以从快照 2D 测量中恢复 UHD 彩色视频。研究结果表明，我们提出的算法具有明显的优势。

    Mar, 2020

  • 视频快照压缩成像的即插即用算法

    本文利用 PnP 框架开发出灵活快速的算法，用于解决视频快照 SCI 的重建问题，同时将所提出的 PnP 算法扩展到彩色 SCI 系统上，实现了对灰度、彩色视频的高质量、灵活重建。

    Jan, 2021

  • 非训练的神经网络用于快照压缩成像：理论和算法

    通过使用未经训练的神经网络（UNNs）模拟源结构，我们开发了一种理论框架来表征这些 UNN 方法的性能，同时利用最近提出的袋装深度图像先验（bagged-DIP）思想开发了快照压缩成像（SCI）袋装深度视频先验（SCI-BDVP）算法，在视频 SCI 中实现了最新技术，甚至在噪声测量情况下优于半监督解决方案。

    Jun, 2024

  • 10K FPS 的事件增强快照压缩摄影

    通过结合事件相机和视频快照压缩成像技术，提出了一种新颖的混合 “强度 + 事件” 成像方案，利用双路径光学系统记录编码强度测量和中间事件信号，通过双分支 Transformer 解码密集视频帧，实现了以 0.1 毫秒时间间隔进行高质量的快照压缩成像。

    Apr, 2024

  • 基于排名最小化的瞬间压缩成像

    通过利用所需信号的高维结构来提高快照压缩成像 (Snapshot compressive imaging, SCI) 的重建质量，本文通过构建联合模型将视频 / 高光谱帧的非局部自相似性和秩极小化方法与 SCI 传感过程相结合，提出交替最小化算法来解决这个非凸问题，并在 SCI 的采样过程中进行特殊结构的研究，以解决 SCI 重建中的计算和内存问题。仿真和实测结果均表明，与目前最先进的算法相比，我们提出的算法可以显著地提高重建质量。

    Jul, 2018

  • 具有三维卷积神经网络先验的密集深度展开网络用于快照压缩成像

    本文提出了一种基于 DUN 的快速高效的快照压缩成像算法，采用 3D-CNN 先验和新型密集特征映射（DFM）策略来更好地利用帧间的时空相关性和解决现有 DUN 中相邻相位信息丢失的问题，同时为了提高网络鲁棒性，还提出了密集特征映射适应（DFMA）模块。最终的实验结果验证了我们方法的优越性。

    Sep, 2021

  • 用于快照压缩成像的 GAP 网络

    本文提出了一种基于深度展开思想的 SCI 恢复算法，即 GAP-net，该算法在交替投影（GAP）算法的基础上进行展开，其中 CNN 作为去噪器，将当前的信号估计投影回所需的信号空间。通过证明，对于基于自编码器的去噪器的 GAP-net，我们得到了一种概率全局收敛的结果。最后，我们研究了 GAP-net 在解决视频 SCI 和光谱 SCI 问题时的表现。

    Dec, 2020