Jul, 2019

一种基于视网膜的纹理重建采样方法

PDF
TL;DR本研究提出了一种类似视网膜神经信号处理的凹形采样方法，在只利用动态视觉传感器输出的脉冲信号的情况下实现视觉纹理重建，提出了三种针对高速运动和静止场景的脉冲流解码方法。与传统基于帧的相机和动态视觉传感器相比，该模型具有更好的图像质量和更高的灵活性，有可能改变需求大的机器视觉应用的构建方式。
发现论文，激发创造
  • SpikeNVS：通过 Spike 相机提高模糊图像的新视图合成

    通过使用脉冲相机设计的由 Spike 流重建纹理（TfS）损失函数来提高以神经辐射场（NeRF）和 3D 高斯喷洒（3DGS）为基础的新视角合成，将可获得尖锐的场景表示，同时降低训练成本。

    Apr, 2024

  • 一种低功耗的神经形态学方法实现高效眼动跟踪

    本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。

    Dec, 2023

  • 从脉冲流中学习稳健地重建低光动态场景

    本文提出了一个双向循环基于重建框架的方法，包括一个强光鲁棒表示（LR-Rep）和融合模块，以更好地处理低光照条件下的场景重建问题。实验证明了该方法的优越性，也在真实的脉冲流中具有很好的泛化性。

    Jan, 2024

  • 批处理视觉突发流中的视觉吸引力

    我们研究了连续脉冲流中的视觉显著性，并提出了一种基于完整脉冲神经网络的循环脉冲转换器框架，通过从连续的时空脉冲流中提取时空特征来实现对二进制脉冲流的有效处理。实验结果表明，我们的循环脉冲转换器框架在捕捉和突出脉冲流中的视觉显著性方面表现出了明显的改进幅度，不仅为基于脉冲的显著性分割提供了新的视角，也展示了全脉冲神经网络的转换器模型的新范式。

    Mar, 2024

  • 通用照明下的循环基于脉冲的图像恢复

    基于脉冲相机的图像恢复方法，通过建立基于物理的噪声模型，设计具有自适应脉冲变换模块、循环时间特征融合模块和基于频率的脉冲降噪模块的 Recurrent Spike-based Image Restoration (RSIR) 网络，以恢复雨天或昏暗场景下的清晰图像。实验结果表明，该网络在不同光照条件下具有较好的恢复效果。

    Aug, 2023

  • 基于事件的稀疏事件补全的扩散 - 细化方法

    通过基于扩散的生成模型以及维护原始数据的时间分辨率等方法，我们提出了一种创新的事件序列补全方法，发掘事件相机的全部潜力，并生成高质量的密集事件，从而有利于目标分类和强度帧重建。

    Jan, 2024

  • 自然视觉图像重建的脑启发解码器

    本文介绍一种基于深度学习的神经网络结构，通过脑电波等脑活动信号重构视觉图像，将感受野特性结合到损失函数中，有效地提高了视觉重构的精度和效果

    Jul, 2022

  • 基于事件视频流的预测性时间注意力用于高效节能的情境感知

    基于人脑中的预测编码模型和期望抑制现象，我们提出了一种时间注意机制，通过控制相机的输出使其仅在无法很好预测的情况下注意到视觉事件，从而不仅减少了传感器 - 处理器接口的能耗，而且通过过滤噪声事件有效地减少了计算工作量，我们证明了这种预测注意机制可将相机和处理器之间的数据通信量减少 46.7％，处理器上的计算活动减少 43.8％。

    Feb, 2024

  • SpikeReveal：从真实模糊输入中解开时间序列的尖峰流

    提出了第一个自监督框架来解决基于脉冲引导的运动去模糊任务，通过理论关系和知识蒸馏设计轻量级去模糊网络，生成与原始输入亮度和纹理一致的高质量序列。

    Mar, 2024

  • 在神经形态摔倒检测和动作识别数据集上评估传统视觉模型

    提出针对神经形态感知相机的人体动作识别和跌倒检测数据集，使用先进视觉模型 Fine-tuned 的方法，各模型准确度分别为：DVS-MViT（0.958），DVS-C2D（0.916），DVS-R2+1D（0.875）和 DVS-SlowFast（0.833）。

    Jan, 2022