ICCVSep, 2023

紧凑型一次成像光谱成像的孔径衍射

PDF
TL;DR我们展示了一种紧凑、经济高效的快照光谱成像系统，名为 Aperture Diffraction Imaging Spectrometer (ADIS)，它仅由一个具有超薄正交光阑的成像镜头和一个拼贴式滤波器传感器组成，与普通 RGB 相机相比不需要额外的物理占地空间。我们引入了一种新的光学设计，通过正交光罩产生的基于衍射的空间 - 光谱投影工程，将物体空间中的每个点多路复用到拼贴式滤波器传感器上的离散编码位置。正交投影均匀接受以获得弱校准依赖的数据形式以增强调制的鲁棒性。同时，设计了具有对衍射退化具有强感知性的级联位移 - 洗牌光谱变换器 (CSST) 来解决稀疏约束的逆问题，实现从具有大量混淆的 2D 测量中的体积重构。通过详细阐述成像光学理论和重建算法，并演示单一曝光下的实验成像来评估我们的系统。最终，我们实现了亚超像素空间分辨率和高光谱分辨率成像。代码将在此网址上提供：https:// 此网址。
发现论文，激发创造
  • 分散结构光用于高光谱三维成像

    本文提出了一种成本效益高且体积小的方法 —— 分散结构光（DSL），用于准确获取高光谱三维成像。DSL 通过在投影仪前放置亚毫米厚的光栅薄膜，使结构光按照波长分散。通过建立分散投影图像形成模型和像素级高光谱三维重建方法，我们验证了 DSL 的性能，并展示其在实际高光谱三维成像中的优越性。DSL 在光谱精度上达到了 18.8 纳米的半高全宽（FWHM）和 1 毫米的深度误差。DSL 为计算机视觉和图形学、文化遗产、地质学以及生物学等领域提供了准确且实用的高光谱三维成像。

    Nov, 2023

  • 被动快照编码孔径双像素 RGB-D 成像

    通过使用 CADS 方法，我们在紧凑而被动的形式下借助双像素传感器实现了准确的 RGB-D 重建结果。

    Feb, 2024

  • 压缩图像扫描显微镜

    我们提出了一种新颖的方法，在激光扫描显微镜（LSM）中实现压缩感知，特别是在图像扫描显微镜（ISM）中，采用单光子雪崩二极管（SPAD）阵列探测器。通过利用 SPAD 阵列生成的并行图像，我们改善了对比标准压缩共聚焦 LSM 图像的重构压缩 ISM 图像的质量，证明了我们的方法在产生更高质量的图像、减少数据采集时间以及减少光漂白方面的潜在好处。

    Jul, 2023

  • 学习衍射光学的单次高光谱深度成像

    提出了一种压缩的单拍摄单目全光谱成像方法，使用衍射光学元件，通过深度和谱信息的点扩散函数的变化来同时恢复谱和深度，利用神经网络和可微分的模拟器实现优化，提供了第一个 HS-D 数据集，实验结果达到了最先进的全光谱深度成像效果。

    Sep, 2020

  • 粗细光谱感知可变形卷积在高光谱图像重建中的应用

    研究了编码光阑快照光谱成像 (CASSI) 的反问题，该方法使用快照 2D 测量来捕获空间 - 光谱数据立方体，并使用算法重建 3D 高光谱图像 (HSI)。然而，基于卷积神经网络 (CNN) 的当前方法难以捕捉长程依赖和非局部相似性。最近流行的基于 Transformer 的方法由于自我注意力引起的高计算成本在下游任务中得不到充分应用。在本文中，我们首次将可变卷积网络 (DCN) 应用于这项任务，提出了粗 - 细粒度光谱感知可变卷积网络 (CFSDCN)。考虑到 HSI 的稀疏性，我们设计了一个变形卷积模块，利用其可变形性来捕捉长程依赖和非局部相似性。此外，我们提出了一个新的光谱信息交互模块，考虑到粗粒度和细粒度的光谱相似性。大量实验证明，我们的 CFSDCN 在模拟和真实 HSI 数据集上显著优于之前的最先进方法。

    Jun, 2024

  • MLP-AMDC：一种用于自适应掩膜双摄像头快照高光谱成像的 MLP 架构

    本研究介绍了基于自适应掩模的多模输入和用于高光谱成像重建的 MLP-AMDC 结构的改进 CASSI 系统，该方法在重建速度和性能上比现有方案有明显的改进。

    Oct, 2023

  • 全彩色计算成像的元表面光学

    本文介绍了一项将计算成像和超表面光学原理相结合的研究，旨在构建一个具有单个金属透镜的系统，以实现在白光照明下的成像和消除色差像差。该金属透镜表现出一个光谱不变的点扩散函数，可以通过单个数字滤波器重建捕获的图像，同时减少像差和缩小成像系统的光学部件。

    Feb, 2018

  • 粗到细的稀疏变换器用于高光谱图像重建

    该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

    Mar, 2022

  • DMDC: 动态掩膜双摄像机设计用于快照高光谱成像

    本研究提出了一种基于动态遮罩的双摄像头系统，在光谱成像方面应用了深度学习方法，通过 RGB 图像学习场景的空间特征分布，然后使用 SLM 编码每个场景，最终将 RGB 和 CASSI 图像发送到网络进行重建，通过实验证明我们的方法在峰值信噪比上相比现有方法提高了 9dB 以上。

    Aug, 2023

  • 全光复杂场成像使用衍射处理器

    设计了一种基于强度传感器阵列的复杂场成像器，并通过使用迭代相位恢复算法提供幅值和定量相位信息，可用于安全、生物医学成像、传感和材料科学等多个领域。

    Jan, 2024