非训练的神经网络用于快照压缩成像：理论和算法

Jun, 2024

非训练的神经网络用于快照压缩成像：理论和算法

Untrained Neural Nets for Snapshot Compressive Imaging: Theory and Algorithms

Mengyu Zhao, Xi Chen, Xin Yuan, Shirin Jalali

TL;DR通过使用未经训练的神经网络（UNNs）模拟源结构，我们开发了一种理论框架来表征这些 UNN 方法的性能，同时利用最近提出的袋装深度图像先验（bagged-DIP）思想开发了快照压缩成像（SCI）袋装深度视频先验（SCI-BDVP）算法，在视频 SCI 中实现了最新技术，甚至在噪声测量情况下优于半监督解决方案。

Abstract

snapshot compressive imaging (SCI) recovers high-dimensional (3D) data cubes from a single 2D measurement, enabling diverse applications like video and hyperspectral imaging to go beyond standard techniques in terms of acquisition speed and efficiency. In this paper, we focus on SCI re

snapshot compressive imaging untrained neural networks deep image prior sci-bdvp algorithms state-of-the-art

发现论文，激发创造

自监督神经网络用于光谱瞬间压缩成像

本文提出了一种结合 DIP 的插入式自监督网络框架，使用未经训练的神经网络解决了快照压缩成像的光谱重建问题，实验证明该算法可以在不使用大量模拟数据的情况下取得与基于训练的网络相媲美的性能，并可与预训练的深度去噪先验结合以获得最先进的结果。

Aug, 2021

大规模瞬态压缩成像的即插即用算法

本文提出了基于插拔法框架的快速灵活的 SCI 算法 PnP-GAP，相比于 PnP-ADMM 方法，具有更低的计算工作量。同时，通过采用深度去噪先验，我们第一次展示了 PnP 可以从快照 2D 测量中恢复 UHD 彩色视频。研究结果表明，我们提出的算法具有明显的优势。

Mar, 2020

具有三维卷积神经网络先验的密集深度展开网络用于快照压缩成像

本文提出了一种基于 DUN 的快速高效的快照压缩成像算法，采用 3D-CNN 先验和新型密集特征映射（DFM）策略来更好地利用帧间的时空相关性和解决现有 DUN 中相邻相位信息丢失的问题，同时为了提高网络鲁棒性，还提出了密集特征映射适应（DFMA）模块。最终的实验结果验证了我们方法的优越性。

Sep, 2021

视频快照压缩成像的即插即用算法

本文利用 PnP 框架开发出灵活快速的算法，用于解决视频快照 SCI 的重建问题，同时将所提出的 PnP 算法扩展到彩色 SCI 系统上，实现了对灰度、彩色视频的高质量、灵活重建。

Jan, 2021

大规模视频压缩感知的内存高效网络

本文介绍一种基于多组可逆 3D 卷积神经网络的内存高效型网络，用于压缩成像 (SCI)，并将 demosaicing 与 SCI 重建相结合，以直接从 Bayer 测量中恢复彩色视频。实验表明，我们的模型在大规模问题中优于现有的最先进技术，并且内存使用更少，因此可在实际应用中使用。

Mar, 2021

用于快照压缩成像的 GAP 网络

本文提出了一种基于深度展开思想的 SCI 恢复算法，即 GAP-net，该算法在交替投影（GAP）算法的基础上进行展开，其中 CNN 作为去噪器，将当前的信号估计投影回所需的信号空间。通过证明，对于基于自编码器的去噪器的 GAP-net，我们得到了一种概率全局收敛的结果。最后，我们研究了 GAP-net 在解决视频 SCI 和光谱 SCI 问题时的表现。

Dec, 2020

深度光学视频快照压缩成像

本研究提出了一个深度光学框架来优化掩膜和重建网络，以解决视频快照压缩成像中的动态范围和深度学习算法退化的挑战。通过引入结构掩膜实现对运动感知和全动态范围的测量，并使用 Transformer 开发了一个高效的网络用于视频快照压缩成像重建。在实验中验证了所提出框架的有效性，认为这是实现真实世界视频快照压缩成像的一个里程碑。

Apr, 2024

基于排名最小化的瞬间压缩成像

通过利用所需信号的高维结构来提高快照压缩成像 (Snapshot compressive imaging, SCI) 的重建质量，本文通过构建联合模型将视频 / 高光谱帧的非局部自相似性和秩极小化方法与 SCI 传感过程相结合，提出交替最小化算法来解决这个非凸问题，并在 SCI 的采样过程中进行特殊结构的研究，以解决 SCI 重建中的计算和内存问题。仿真和实测结果均表明，与目前最先进的算法相比，我们提出的算法可以显著地提高重建质量。

Jul, 2018

高效 SCI：稠密连接网络结合时空分解进行大规模视频快照压缩成像

本文提出了一种名为 EfficientSCI 的高效深度学习网络，使用含有密集连接和时空分解机制的单个残差块，通过卷积和 Transformer 等操作，在单一暴光时间内重建视频快照，从而解决了过度模型复杂性和 GPU 内存限制等问题，实验结果表明该算法可以显著优于当前所有先进技术算法，PSNR 值高达 32 dB 以上。

May, 2023

SCINeRF：快照压缩图像中的神经辐射场

我们研究了利用快照压缩成像（SCI）技术从单个时态压缩图像中恢复底层 3D 场景表示的潜力。我们的方法基于神经辐射场（NeRF）的强大 3D 场景表示能力，将 SCI 的物理成像过程作为 NeRF 的训练的一部分，从而在捕捉复杂场景结构方面具有出色的性能，并通过使用合成数据和真实数据进行广泛的评估，显示了在图像重建和新视图图像合成方面超越了最先进的方法。

Mar, 2024