Nov, 2024

EventCrab：利用帧与点的协同作用进行事件驱动的动作识别及其扩展

HTML
PDF
TL;DR本文研究了事件驱动动作识别（EAR）中未能有效结合异步事件数据的时间密集性与空间稀疏性的问题。我们提出了EventCrab框架，巧妙整合了面向密集事件帧的“轻量级”网络与处理稀疏事件点的“重”网络，并设计了两种策略以充分挖掘事件点的时空特性，实验表明该框架在多个数据集上显著提升性能，尤其在SeAct和HARDVS数据集上分别提高了5.17%和7.01%。
发现论文，激发创造
  • 学习潜在超级事件以检测视频中的多个活动

    本文提出了从活动视频中学习潜在超级事件的概念，并阐述其如何有助于连续视频的活动检测。我们设计了时间结构滤波器来使模型专注于视频的特定子间隔，并将其与软注意机制一起使用来学习潜在超级事件的表示。我们的全可微方法使潜在超级事件表示能够与使用它们的活动检测器的端到端学习同时进行。我们在多个公共视频数据集上的实验证实，学习潜在超级事件的提议概念极大地提高了活动检测的水平。

    Dec, 2017

  • 基于时空滤波的事件驱动行为识别

    本文提出了在事件域中进行时空过滤的方法, 通过学习局部时空权重矩阵，增强卷积神经网络对动作识别的性能， 在 DVS Gesture 数据集和新录制的动作识别数据集上显著改善。

    Mar, 2019

  • TTPOINT：一种用于事件摄像机轻量级行为识别的张量化点云网络

    使用 TTPOINT 轻量且通用的点云网络，在运动识别任务中相比传统基于帧的方法只使用了 1.5% 的计算资源，并通过层次结构抽象本地和全局几何特征。同时，通过使用张量列分解方法，即使在对参数进行 55% 的压缩时，也能保持了 TTPOINT 的高准确性。

    Aug, 2023

  • EventTransAct：基于视频变换器的基于事件摄像机的动作识别框架

    本研究旨在通过使用事件相机进行行为识别，提出了一种基于视频变换网络和事件对比损失的计算高效模型。该模型在真实世界中的行为识别任务中表现出卓越性能，并且相较于其他方法具有更低的计算时间，适用于基于事件相机的行为识别应用。

    Aug, 2023

  • SpikePoint: 基于点的有效脉冲神经网络用于事件相机的行为识别

    使用 SpikePoint 结构，利用事件相机与脉冲神经网络相结合的高效能力，在超低功耗应用场景中实现了优秀的动作识别性能。

    Oct, 2023

  • ExACT：基于语言引导的概念推理和不确定性估计，用于基于事件的动作识别及更多

    采用跨模态概念化的角度，本文提出了一种名为ExACT的新方法，从事件感知的角度来解决基于事件的动作识别问题。通过自适应细粒度事件表示筛选出重复事件，并利用概念推理和不确定性估计模块来增强语义表征，实验结果表明，ExACT在不同数据集上均取得了优异的识别准确率。

    Mar, 2024

  • 重新思考面向事件相机的高效有效的基于点的网络：EventMamba

    EventMamba是一个高效和有效的点云框架，通过优化网络结构实现了对时间信息的提取，并在分类和回归任务中表现出与基于帧的方法相媲美的结果，同时具有轻量级设计原则，实现了卓越的效率和效果。

    May, 2024

  • DailyDVS-200: 事件驱动动作识别的综合性基准数据集

    我们引入了DailyDVS-200，这是一个为基于事件的动作识别社区量身定制的精心策划的基准数据集，涵盖了200个动作类别，记录了47个参与者在逼真场景中的超过22,000个事件序列，并对每个序列进行了14个属性的注释，为验证现有方法和激发创新方法提供了坚实基础，挑战神经形态数据处理的当前限制。

    Jul, 2024

  • 基于事件流的人类动作识别：高分辨率基准数据集与算法

    本研究针对现有低分辨率事件基础的人类动作识别数据集的不足，提出了一个大规模高分辨率（1280×800）的CeleX-HAR数据集，包含150种常见动作类别和124,625个视频序列。此外，研究介绍了新颖的EVMamba网络，通过编码和挖掘事件流的时空信息，显著提升了动作识别性能，为未来的研究提供了重要的比较基准。

    Aug, 2024

  • 适应路径的时空状态空间模型用于任意时长事件的识别

    本研究针对现有方法在捕获长时间事件的时空关系及其在不同时间频率下的泛化能力不足的问题，提出了一种新的框架PAST-SSM。通过引入适应路径事件聚合和扫描模块（PEAS）以及多面选择引导损失（MSG）来优化特征编码，最终在多个数据集上显著提升了事件识别的准确性，展示了模型在任意时长事件下的优越表现。

    Sep, 2024