Jun, 2024

CodedEvents：优化的点扩散函数工程用于事件相机的三维跟踪

PDF
TL;DR点扩散函数（PSF）工程是一种井然有序的计算成像技术，它利用相位掩模和其他光学元件将额外的信息（如深度）嵌入常规 CMOS 图像传感器捕获的图像中。本文通过理论界限（Cramér Rao 界限）建立了使用 PSF 工程事件相机进行三维点定位和跟踪的方法。利用这些界限，首先证明了现有的 Fisher 相位掩模在定位静态闪烁点源（如闪烁荧光分子）时已经接近最优。然后证明了现有设计在跟踪移动点源方面是次优的，并利用我们的理论为此任务设计了最优相位掩模和二值振幅掩模。为了克服设计问题的非凸性，我们利用基于新颖的隐式神经表示的参数化方法对相位和振幅掩模进行了描述。通过大量的仿真实验证明了我们设计的有效性。我们还用一个简单的原型进行了验证。
发现论文，激发创造
  • 使用生成事件模型进行事件相机位姿追踪

    采用贝叶斯滤波框架和概率生成事件模型，利用感知到的事件的对比度残差为估计事件相机和环境位置的度量，解决了在已知环境下，仅使用事件数据定位的问题。

    Oct, 2015

  • 直接从光学显微观测中学习成像机理

    利用自监督学习，提出一种物理信息掩蔽自动编码器 (PiMAE)，能够通过直接从原始显微图像中学习估计点扩散函数 (PSF) 和发射源的值，这种方法优于传统方法，展示了可行的机制实现在光学显微镜中实现更精确的成像。

    Apr, 2023

  • 基于事件的偏振形状恢复

    通过使用高速旋转的线性偏振器和事件相机，我们提出了一种用于实现事件极化成像的解决方案，该解决方案使用了基于学习的方法来估计表面法线，在现实世界的实验中，性能比基于物理的方案高出了 52％。

    Jan, 2023

  • 自主学习的空间变异 PSF 估计对于能够察觉像差的由视角焦深度提供帮助

    本研究论文提出了一种适应实际相机空间变异点扩散函数的像差感知散焦深度计算方法，并通过自监督学习利用实际清晰与模糊图像对来获取相机的空间变异点扩散函数，同时处理了实际深度感知时出现的焦距呼吸现象，合成和真实数据的实验证明了方法在点扩散函数和深度感知方面的有效性。

    Feb, 2024

  • 利用编码孔径和事件实现高效光场采集

    我们提出了一种利用编码孔径和事件相机结合的计算成像方法，通过在单次曝光中应用一系列编码模式来记录视差信息，并使用图像帧和事件共同计算重建光场的算法流程，该方法可在单次曝光中实现比其他成像方法更准确的重建，并且在相机上能够以 22 毫秒内完成测量的硬件原型表现出令人信服的视觉质量。

    Mar, 2024

  • 使用深度学习从点扩散函数和扩展图像直接预测泽尼克系数

    使用卷积神经网络直接从两到三个相位多样性光学图像中预测泽尼克系数，对光学像差进行表征，以实现快速准确的相位多样性方法，为真实数据集的评估铺平了道路。

    Apr, 2024

  • ESL: 基于事件的结构光

    使用事件相机的结构光系统通过优化空时一致性能量函数，可以更准确、快速地进行深度感知，相对于预言式算法可以更好地处理高速运动和降低误差。

    Nov, 2021

  • 具有 PSF 感知机制的极简和高质量全景成像的转换器

    本文提出了全景计算成像引擎（PCIE）来解决高质量全景成像问题，利用自注意力计算和特征提取来设计 PSF 感知像差图像恢复变压器（PART），并在 MPIP 和 PALHQ 数据集实现了超分辨率和像差校正的两个流水线，从而在全景成像方面取得了令人印象深刻的成果。

    Jun, 2023

  • 事件相机与单光子雪崩二极管相遇：高速、低带宽成像

    传统相机在低光性能和高速成像之间存在权衡，长曝光时间捕捉足够的光会导致运动模糊，而短曝光时间会导致泊松受损噪声图像。我们介绍了一种传感器融合框架，将单光子雪崩二极管（SPAD）传感器与事件相机相结合，以实现低带宽要求下对高速低光场景的重建。我们的评估在合成和真实的传感器数据上表明，相比传统相机，在高的时间分辨率（100 kHz）下重建低光场景方面，事件 - SPAD 融合显示出了显著的提升（> 5 dB PSNR）。事件 - SPAD 融合在机器人技术或医学成像等实际应用中具有巨大潜力。

    Apr, 2024

  • 快速两步盲目光学像差校正

    该论文提出了一个两步方案来矫正单个图像中的光学像差，其中包括对重叠区域进行局部高斯模糊核的估计和去除横向色差，其中利用了卷积神经网络进行修复。

    Aug, 2022