视频快照压缩成像的即插即用算法
本文提出了基于插拔法框架的快速灵活的 SCI 算法 PnP-GAP,相比于 PnP-ADMM 方法,具有更低的计算工作量。同时,通过采用深度去噪先验,我们第一次展示了 PnP 可以从快照 2D 测量中恢复 UHD 彩色视频。研究结果表明,我们提出的算法具有明显的优势。
Mar, 2020
通过使用未经训练的神经网络(UNNs)模拟源结构,我们开发了一种理论框架来表征这些 UNN 方法的性能,同时利用最近提出的袋装深度图像先验(bagged-DIP)思想开发了快照压缩成像(SCI)袋装深度视频先验(SCI-BDVP)算法,在视频 SCI 中实现了最新技术,甚至在噪声测量情况下优于半监督解决方案。
Jun, 2024
本研究提出了一个深度光学框架来优化掩膜和重建网络,以解决视频快照压缩成像中的动态范围和深度学习算法退化的挑战。通过引入结构掩膜实现对运动感知和全动态范围的测量,并使用 Transformer 开发了一个高效的网络用于视频快照压缩成像重建。在实验中验证了所提出框架的有效性,认为这是实现真实世界视频快照压缩成像的一个里程碑。
Apr, 2024
本文介绍一种基于多组可逆 3D 卷积神经网络的内存高效型网络,用于压缩成像 (SCI),并将 demosaicing 与 SCI 重建相结合,以直接从 Bayer 测量中恢复彩色视频。实验表明,我们的模型在大规模问题中优于现有的最先进技术,并且内存使用更少,因此可在实际应用中使用。
Mar, 2021
本文提出了一种基于深度展开思想的 SCI 恢复算法,即 GAP-net,该算法在交替投影(GAP)算法的基础上进行展开,其中 CNN 作为去噪器,将当前的信号估计投影回所需的信号空间。通过证明,对于基于自编码器的去噪器的 GAP-net,我们得到了一种概率全局收敛的结果。最后,我们研究了 GAP-net 在解决视频 SCI 和光谱 SCI 问题时的表现。
Dec, 2020
通过利用所需信号的高维结构来提高快照压缩成像 (Snapshot compressive imaging, SCI) 的重建质量,本文通过构建联合模型将视频 / 高光谱帧的非局部自相似性和秩极小化方法与 SCI 传感过程相结合,提出交替最小化算法来解决这个非凸问题,并在 SCI 的采样过程中进行特殊结构的研究,以解决 SCI 重建中的计算和内存问题。仿真和实测结果均表明,与目前最先进的算法相比,我们提出的算法可以显著地提高重建质量。
Jul, 2018
本文提出了一种名为 EfficientSCI 的高效深度学习网络,使用含有密集连接和时空分解机制的单个残差块,通过卷积和 Transformer 等操作,在单一暴光时间内重建视频快照,从而解决了过度模型复杂性和 GPU 内存限制等问题,实验结果表明该算法可以显著优于当前所有先进技术算法,PSNR 值高达 32 dB 以上。
May, 2023
通过结合事件相机和视频快照压缩成像技术,提出了一种新颖的混合 “强度 + 事件” 成像方案,利用双路径光学系统记录编码强度测量和中间事件信号,通过双分支 Transformer 解码密集视频帧,实现了以 0.1 毫秒时间间隔进行高质量的快照压缩成像。
Apr, 2024
该研究论文提出了一种名为 MetaSCI 的元调制卷积网络,用于高速视频快照压缩成像(video snapshot compressive imaging,简称 SCI)重建,该方法能够快速适应新的掩码并扩展到大规模数据,并在实验中展示出优异性能。
Mar, 2021
本文提出了一种结合 DIP 的插入式自监督网络框架,使用未经训练的神经网络解决了快照压缩成像的光谱重建问题,实验证明该算法可以在不使用大量模拟数据的情况下取得与基于训练的网络相媲美的性能,并可与预训练的深度去噪先验结合以获得最先进的结果。
Aug, 2021