ICCVSep, 2021

可插拔事件图像翻译的双重迁移学习用于基于事件的终极任务预测

PDF
TL;DR本文提出了一种名为双重转移学习的框架，包括事件到终端任务学习分支、事件到图像翻译分支和转移学习模块，可有效提高像语义分割和深度估计等端任务的性能。
event camerasend-task learningsemantic segmentationdual transfer learningfeature-level affinity information
发现论文，激发创造
  • 基于学习瓶颈变换器的事件图像体素特征融合分类

    该研究提出了一个新颖的双流框架，用于事件表示、提取和融合，通过利用 Transformer 和结构化图神经网络（GNN）架构，分别可以学习空间信息和三维立体信息，并引入瓶颈 Transformer 以促进双流信息的融合，通过广泛实验证明了该框架在两个广泛使用的事件分类数据集上取得了最先进的性能。

    Aug, 2023

  • 异步事件数据表示的端到端学习

    本文介绍了将事件流转化成基于网格的表示的通用框架，其具有两个主要优势：（i）允许端到端学习输入事件表示，（ii）提供了一个统一记录大多数事件表示的分类法，并识别出新的事件表示方法。通过实验证明，我们的端到端学习事件表示的方法相对于现有技术方法，在光流估计和目标识别上都有约 12％的改进。

    Apr, 2019

  • EventGAN：利用大规模图像数据集改进事件相机

    利用卷积神经网络从一对时间图像帧中模拟事件的方法，可克服事件相对于计算机视觉问题的限制。在大规模图像数据集上，通过这种模拟数据，训练用于对象检测和 2D 人体姿势估计的下游网络，能够成功推广到真实事件数据集上。

    Dec, 2019

  • EvDistill：通过双向重构引导的跨模态知识蒸馏将异步事件转化为最终任务学习

    本文提出了一种名为 EvDistill 的新方法，通过知识蒸馏的方式，从大规模的带标签图像数据中训练的教师网络向未标记和未配对的事件数据（目标模态）学习学生网络；我们的方法通过双向模态重建模块来实现教师和学生之间的知识转移，并且采用亲和图知识蒸馏损失来提高知识蒸馏效果。通过实验，我们证明 EvDistill 相比之前的方法和仅使用事件和 APS 帧的知识蒸馏，取得了更好的语义分割和物体识别结果。

    Nov, 2021

  • E-CLIP: 通过 CLIP 实现高效标签的事件驱动开放式理解

    提出了一种名为 E-CLIP 的框架，它通过引入新颖的事件编码器和文本编码器，以及原始图像编码器，采用层次三重对比对齐 (HTCA) 模块来优化相关性，实现三种模态之间的知识传递，并在 N-Caltech 数据集上在微调和少样本设置下将性能提升了 3.94% 和 4.62%。此外，E-CLIP 可以灵活地扩展到使用文本或图像查询的事件检索任务。

    Aug, 2023

  • 注意分心事件追踪

    提出了一种引入了变压器模块的具有抗干扰能力的事件驱动跟踪器，在两个大型事件跟踪数据集上验证了其在准确性和效率方面优于现有的最先进跟踪器。

    Oct, 2023

  • EvPlug: 事件与图像融合的即插即用模块学习

    该论文提出了 EvPlug，一种能够将事件相机与图像相结合的方法，在不需要像素级对齐的情况下，通过学习融合模块的方式，使得 RGB 模型在高动态范围和快速运动场景下具备鲁棒性和高时序分辨率推理能力，从而在物体检测、语义分割和 3D 手姿估计等多个视觉任务中展现了优越性。

    Dec, 2023

  • 事件相机数据密集预训练

    本文介绍了一种自监督学习框架，用于预训练针对密集预测任务的神经网络，该框架使用事件相机数据进行训练，并在转移学习方面展现出卓越性能。

    Nov, 2023

  • 基于视网膜事件的端到端目标动态估计的学习，用于事件驱动的目标跟踪

    本文提出了一种基于事件相机和深度神经网络的实时物体追踪方法，使用同步时间表面和线性时间衰减表示异步视网膜事件的信息，并通过独创的神经网络模型处理各种复杂的情况，如快速动态和低照度条件等使得实验结果表明该方法优于以往传统的物体追踪方法。

    Feb, 2020

  • 从行为到事件：利用改进的深度置信网络的迁移学习方法

    本文提出了一种基于 Spectral Deep Belief Network 的能量模型来解决视频分析中深度学习和数据量大的问题，该模型可以同时处理所有帧，将空间和时间信息传递到学习过程中，实验结果表明该模型具有较高的效率和降低的计算负担。

    Nov, 2022