Jul, 2018

基于排名最小化的瞬间压缩成像

PDF
TL;DR通过利用所需信号的高维结构来提高快照压缩成像 (Snapshot compressive imaging, SCI) 的重建质量，本文通过构建联合模型将视频 / 高光谱帧的非局部自相似性和秩极小化方法与 SCI 传感过程相结合，提出交替最小化算法来解决这个非凸问题，并在 SCI 的采样过程中进行特殊结构的研究，以解决 SCI 重建中的计算和内存问题。仿真和实测结果均表明，与目前最先进的算法相比，我们提出的算法可以显著地提高重建质量。
snapshot compressive imaginghigh-dimensional structurenonlocal self-similarityrank minimization approachalternating minimization algorithm
发现论文，激发创造
  • 深度光学视频快照压缩成像

    本研究提出了一个深度光学框架来优化掩膜和重建网络，以解决视频快照压缩成像中的动态范围和深度学习算法退化的挑战。通过引入结构掩膜实现对运动感知和全动态范围的测量，并使用 Transformer 开发了一个高效的网络用于视频快照压缩成像重建。在实验中验证了所提出框架的有效性，认为这是实现真实世界视频快照压缩成像的一个里程碑。

    Apr, 2024

  • 大规模瞬态压缩成像的即插即用算法

    本文提出了基于插拔法框架的快速灵活的 SCI 算法 PnP-GAP，相比于 PnP-ADMM 方法，具有更低的计算工作量。同时，通过采用深度去噪先验，我们第一次展示了 PnP 可以从快照 2D 测量中恢复 UHD 彩色视频。研究结果表明，我们提出的算法具有明显的优势。

    Mar, 2020

  • 视频快照压缩成像的即插即用算法

    本文利用 PnP 框架开发出灵活快速的算法，用于解决视频快照 SCI 的重建问题，同时将所提出的 PnP 算法扩展到彩色 SCI 系统上，实现了对灰度、彩色视频的高质量、灵活重建。

    Jan, 2021

  • 10K FPS 的事件增强快照压缩摄影

    通过结合事件相机和视频快照压缩成像技术，提出了一种新颖的混合 “强度 + 事件” 成像方案，利用双路径光学系统记录编码强度测量和中间事件信号，通过双分支 Transformer 解码密集视频帧，实现了以 0.1 毫秒时间间隔进行高质量的快照压缩成像。

    Apr, 2024

  • 大规模视频压缩感知的内存高效网络

    本文介绍一种基于多组可逆 3D 卷积神经网络的内存高效型网络，用于压缩成像 (SCI)，并将 demosaicing 与 SCI 重建相结合，以直接从 Bayer 测量中恢复彩色视频。实验表明，我们的模型在大规模问题中优于现有的最先进技术，并且内存使用更少，因此可在实际应用中使用。

    Mar, 2021

  • 非训练的神经网络用于快照压缩成像：理论和算法

    通过使用未经训练的神经网络（UNNs）模拟源结构，我们开发了一种理论框架来表征这些 UNN 方法的性能，同时利用最近提出的袋装深度图像先验（bagged-DIP）思想开发了快照压缩成像（SCI）袋装深度视频先验（SCI-BDVP）算法，在视频 SCI 中实现了最新技术，甚至在噪声测量情况下优于半监督解决方案。

    Jun, 2024

  • DiffSCI：基于迭代谱扩散模型的零样本快照压缩成像

    本研究通过将传统 SCI 技术和图像生成模型相结合，提出了一种名为 DiffSCI 的新型结构化零射扩散模型，来提高多光谱图像的快照压缩成像（SCI）重建的精度。DiffSCI 利用了深度先验和基于优化的方法对结构的理解，加上当代去噪扩散模型提供的生成能力。我们的广泛测试表明 DiffSCI 在模拟和真实数据集上均比现有的自监督和零射扩散方法表现出明显的性能优势，甚至超过了受监督的转换器对应方法。

    Nov, 2023

  • MetaSCI: 视频压缩感知的可扩展和自适应重构

    该研究论文提出了一种名为 MetaSCI 的元调制卷积网络，用于高速视频快照压缩成像（video snapshot compressive imaging，简称 SCI）重建，该方法能够快速适应新的掩码并扩展到大规模数据，并在实验中展示出优异性能。

    Mar, 2021

  • SCINeRF：快照压缩图像中的神经辐射场

    我们研究了利用快照压缩成像（SCI）技术从单个时态压缩图像中恢复底层 3D 场景表示的潜力。我们的方法基于神经辐射场（NeRF）的强大 3D 场景表示能力，将 SCI 的物理成像过程作为 NeRF 的训练的一部分，从而在捕捉复杂场景结构方面具有出色的性能，并通过使用合成数据和真实数据进行广泛的评估，显示了在图像重建和新视图图像合成方面超越了最先进的方法。

    Mar, 2024

  • 高效 SCI：稠密连接网络结合时空分解进行大规模视频快照压缩成像

    本文提出了一种名为 EfficientSCI 的高效深度学习网络，使用含有密集连接和时空分解机制的单个残差块，通过卷积和 Transformer 等操作，在单一暴光时间内重建视频快照，从而解决了过度模型复杂性和 GPU 内存限制等问题，实验结果表明该算法可以显著优于当前所有先进技术算法，PSNR 值高达 32 dB 以上。

    May, 2023