AAAIMar, 2024

批处理视觉突发流中的视觉吸引力

PDF
TL;DR我们研究了连续脉冲流中的视觉显著性，并提出了一种基于完整脉冲神经网络的循环脉冲转换器框架，通过从连续的时空脉冲流中提取时空特征来实现对二进制脉冲流的有效处理。实验结果表明，我们的循环脉冲转换器框架在捕捉和突出脉冲流中的视觉显著性方面表现出了明显的改进幅度，不仅为基于脉冲的显著性分割提供了新的视角，也展示了全脉冲神经网络的转换器模型的新范式。
spike camerafoveasaliency detectionrecurrent spiking transformerspatio-temporal spike stream
发现论文，激发创造
  • 揭示尖峰流在从密集连续视图中消除前景遮挡方面的潜力

    本文提出了一种使用仅一个 SPIKE 相机进行连续多视角成像的创新解决方案，即 SpkOccNet，利用跨视图注意机制有效融合并优化多窗口内连续视图的 SPIKE 信息，实现在不知道相机内参数和相机姿态的情况下高效去除多种场景下的密集遮挡，取得了良好的实验效果。

    Jul, 2023

  • 从脉冲流中学习稳健地重建低光动态场景

    本文提出了一个双向循环基于重建框架的方法，包括一个强光鲁棒表示（LR-Rep）和融合模块，以更好地处理低光照条件下的场景重建问题。实验证明了该方法的优越性，也在真实的脉冲流中具有很好的泛化性。

    Jan, 2024

  • 通用照明下的循环基于脉冲的图像恢复

    基于脉冲相机的图像恢复方法，通过建立基于物理的噪声模型，设计具有自适应脉冲变换模块、循环时间特征融合模块和基于频率的脉冲降噪模块的 Recurrent Spike-based Image Restoration (RSIR) 网络，以恢复雨天或昏暗场景下的清晰图像。实验结果表明，该网络在不同光照条件下具有较好的恢复效果。

    Aug, 2023

  • 一种基于视网膜的纹理重建采样方法

    本研究提出了一种类似视网膜神经信号处理的凹形采样方法，在只利用动态视觉传感器输出的脉冲信号的情况下实现视觉纹理重建，提出了三种针对高速运动和静止场景的脉冲流解码方法。与传统基于帧的相机和动态视觉传感器相比，该模型具有更好的图像质量和更高的灵活性，有可能改变需求大的机器视觉应用的构建方式。

    Jul, 2019

  • 基于脉冲神经网络的仿生视觉关注技术应用于图案分类的硅视网膜研究

    本文回顾了视觉注意机制的生物学背景，并介绍了一个基于基于感知机制和脉冲神经网络的事件视频分类的案例研究，初步结果表明其有效性。

    May, 2021

  • 基于时空显著性检测器的无监督视频分析

    本研究基于频谱分析提出了一种新方法，可用于检测视频中的时间空间视觉显著性，具有高效和易于实现的特点；并且探讨了这种显著性如何应用于检测异常情况和兴趣点，实验结果证明了该方法在这些任务中的有效性。

    Mar, 2015

  • 视觉显著性转换器

    本文提出了一种基于 transformer 的纯序列转序列架构的视觉显著性检测器（VST），通过建模长程依赖关系，实现了对 RGB 和 RGB-D 显著对象检测的统一建模。实验结果表明，该方法在常用数据集上表现出色，并且提供了新的 SOD 领域的视角和 transformer-based dense prediction 模型的新范式”。

    Apr, 2021

  • SpikeReveal：从真实模糊输入中解开时间序列的尖峰流

    提出了第一个自监督框架来解决基于脉冲引导的运动去模糊任务，通过理论关系和知识蒸馏设计轻量级去模糊网络，生成与原始输入亮度和纹理一致的高质量序列。

    Mar, 2024

  • VST++：高效且更强力的视觉显著性 Transformer

    我们提出了一种名为 VST++ 的有效且强大的模型，以更低的计算成本实现了比现有方法更好的性能，同时突出了其潜力。

    Oct, 2023

  • 视频流连续学习中基于注意轨迹的随机相干性

    提出一种新的基于神经网络的方法，该方法利用类似人类的注意机制来自主地以像素为单位学习视频流的表示，本文的实验表明，该方法可以在少量监督的情况下进行开放式类增量分类。

    Apr, 2022