计算优先的噪音鲁棒视觉感知

Mar, 2024

Compute-first optical detection for noise-resilient visual perception

Jungmin Kim, Nanfang Yu, Zongfu Yu

TL;DR我们提出了一种光信号处理方案，在检测之前通过适当设计的线性变换器对光信号进行空间重新分布，以增强视觉感知任务的检测噪声鲁棒性，并通过 MNIST 分类的基准测试进行了验证。这种计算优先的检测方案可以推动广泛应用于工业和国防领域的红外机器视觉技术的发展。

Abstract

In the context of visual perception, the optical signal from a scene is transferred into the electronic domain by detectors in the form of image data, which are then processed for the extraction of visual information. In noisy and weak-signal environments such as thermal imaging for ni

visual perception neural computing optical signal processing detection noise resilience infrared machine vision

发现论文，激发创造

全光学图像降噪使用衍射视觉处理器

光学拍摄图像去噪器是一种速度快、能耗低的方法，通过物理上分散光学模式来去除不同噪音特征，可以高效地清除图像中的噪音和伪影，适用于各种图像显示和投影系统。

Sep, 2023

高性能实际光学计算通过原地非模型优化训练

光计算系统的实地优化是无模型的解决方案，基于分数梯度估计算法，其简单性和对计算资源的低需求加速了光计算从实验室演示到现实世界应用的过渡。

Jul, 2023

使用端到端光传播训练神经网络

光学是下一代机器学习计算硬件的令人激动的方向，能够在计算速度和能源效率方面提供数个数量级的增强。本研究首次提出了一种简单而通用的方案，通过饱和吸收体作为激活单元，并通过泵浦 - 探测过程实现所需的性能以解决光学实现反向传播的挑战，从而展示了完全依赖于模拟光学过程进行训练和推理任务的神经网络的构建可能性。

Aug, 2023

线性光学非线性处理

研究使用多次散射的方法，在低光功率下实现具有程序控制的线性和非线性变换，实现光学多层网络的实现

Jul, 2023

浑浊介质中的事件驱动成像：光电子学和神经形态计算的融合

通过一种新的光学计算方法，使用神经形态计算方法以人脑视觉为灵感，从密集混浊介质中的散射光中重建图像，实现在浑浊条件下的图像复原。

Sep, 2023

卷积神经网络的光学前端

利用自由空间光学前端单元实现第一层的线性操作，然后通过电子方式实现后续层的混合光电架构，在 Kaggle 猫狗挑战数据库中获得了 87% 的图像分类精度。

Dec, 2018

动态基于事件的光学识别与通信

利用光学成像与光学流追踪技术，提出了光领航信标方案，该方案能够有效提高通信频率、范围和跟踪精度，并在资产监测场景中实现了多个运动信标的同时通信和跟踪。