Apr, 2024

基于跨模态知识蒸馏的事件相机深度估计的新型脉冲变压器网络

PDF
TL;DR基于脉冲相机数据的纯脉冲驱动脉冲变压器网络模型以及跨模态知识迁移框架，在深度估计领域取得了显著提升的结果，同时减少了功耗消耗。
depth estimationevent camera dataspike-driven spike transformer networkknowledge transfer frameworkreduced power consumption
发现论文，激发创造
  • StereoSpike：基于脉冲神经网络的深度学习

    使用神经形态学方法和多车立体事件相机数据集 (MVSEC)，结合双脉冲事件相机和脉冲神经网络 (SNN) 的编码器 - 解码器架构，开发了一种新颖的神经元模仿方法 (StereoSpike) 来解决深度估计问题，并得到了最先进的测试准确性。

    Sep, 2021

  • Spike-FlowNet: 基于事件的光流估计与节能混合神经网络

    该论文介绍了一个基于 Spike-FlowNet 的深度混合神经网络体系结构，用于有效地估计来自稀疏事件相机输出的光流，同时提供了显着的计算效率。

    Mar, 2020

  • 时空循环神经网络用于基于事件的光流估计

    本文提出了一种新颖的输入表示法，捕捉事件的时间分布以增强信号，并介绍了一种利用卷积门控循环单元从一系列事件图像中提取特征图的时空循环编码 - 解码神经网络体系结构，其中允许整合一些基于帧的核心模块，如相关层和迭代残差精化方案，它在 Multi-VehicleStereoEventCamera 数据集上进行自我监督学习的端到端训练，表现优于现有所有最先进的方法。

    Sep, 2021

  • 使用极线时空网络的多视角深度估计

    本文提出了一种针对多视角深度估计的新方法，使用 Epipolar 时空变换器和混合专家模型，实现与 SOTA 方法相比更高的估计精度和速度。

    Nov, 2020

  • 基于脉冲神经网络的汽车事件数据目标检测

    通过使用事件摄像头直接训练尖峰神经网络，以设计快速高效的汽车嵌入式应用程序，并且采用了最新的尖峰反向传播方法，成功地针对 GEN1 汽车检测事件数据集提出了尖峰神经网络实现目标检测的方法。

    May, 2022

  • Spike-EVPR: 基于深度脉冲残差网络与交叉表征聚合的事件驱动视觉地点识别

    提出了一种称为 Spike-EVPR 的新型深度脉冲神经网络架构，用于基于事件的视觉位置识别任务，通过引入两种新的事件表征并构建具有强大表征能力的 Bifurcated Spike Residual Encoder 和 Shared & Specific Descriptor Extractor 模块，以及采用 Cross-Descriptor Aggregation Module 进行特征融合，显著提高了性能。

    Feb, 2024

  • 从事件中学习单目浓密深度

    本文介绍了事件相机及其与传统图像传感器的区别，讨论了基于学习的方法如何应用于事件数据，提出了使用循环架构来预测单眼深度的新方法，并在 CARLA 模拟器数据集上进行了预训练并在 MVSEC 上进行了测试，结果表明平均深度误差减小了 50%。

    Oct, 2020

  • SpikeNVS：通过 Spike 相机提高模糊图像的新视图合成

    通过使用脉冲相机设计的由 Spike 流重建纹理（TfS）损失函数来提高以神经辐射场（NeRF）和 3D 高斯喷洒（3DGS）为基础的新视角合成，将可获得尖锐的场景表示，同时降低训练成本。

    Apr, 2024

  • SSTFormer：连接脉冲神经网络和具备记忆支持的转换器用于基于帧事件的识别

    通过融合 RGB 帧和事件流的模式识别框架，在事件相机模式识别领域取得了有效的结果，同时还提出了一个大规模的 PokerEvent 数据集，促进了模式识别的发展。

    Aug, 2023

  • 基于事件相机的脉冲神经网络面部表情识别（Spiking-Fer）

    本研究利用事件相机、脉冲神经网络及事件增强技术实现基于事件的面部表情识别，并与传统人工神经网络做性能比较，结果表明脉冲神经网络模型虽然能够实现较好的识别性能，但能耗仅为传统神经网络的 1/65。

    Apr, 2023