眨眼之间:基于事件的情绪识别
本文提出了基于视觉关注的两种事件视觉注意力模型,一种通过跟踪视野内的事件活动来定位关注区域,另一种基于 DRAW 神经模型和全微分注意力程序,使用 Phased LSTM 识别网络作为基线参考模型并在四个数据集上进行验证,获得了在平移和尺度不变性方面的提升。
Jul, 2018
介绍了事件相机技术的工作原理,可用传感器和任务,包括低级视觉和高级视觉,并讨论了处理事件的技术,特别是基于学习的技术和专门为这些传感器设计的处理器,如脉冲神经网络,同时提出了待解决的挑战和未来机器感知及与世界互动的新机遇。
Apr, 2019
本文介绍了新型事件相机对于人脸情绪识别的应用以及介绍一个 NEFER 数据集,经过实验证明,采用 NEFER 数据集和神经形态学的方法可以更有效地分析人脸微小而难以察觉的表情和它们所隐藏的情感。
Apr, 2023
基于事件的数据在边缘计算环境中十分常见,我们提出了一种因果时空卷积网络,以实现与这些数据的接口和利用丰富的时态特征,并通过简单的架构和操作(卷积、ReLU 激活)及在线推断效率配置、通过规范化训练实现超过 90% 的激活稀疏度,从而在基于事件的处理器上实现极大的效率增益。此外,我们还提出了一种直接作用于事件的通用仿射增强策略,缓解了基于事件的系统中数据集稀缺的问题。我们将该模型应用于 AIS 2024 基于事件的视觉注视挑战,并在 Kaggle 私人测试集上达到了 0.9916 的 P10 准确率。
Apr, 2024
本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN),并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN),通过对事件相关图像信息的处理, 实现与基于人工神经网络(ANN)的模型相当的性能,而且在事件驱动硬件上具有更高的计算效率。
Jan, 2022
本文介绍了将事件流转化成基于网格的表示的通用框架,其具有两个主要优势:(i)允许端到端学习输入事件表示,(ii)提供了一个统一记录大多数事件表示的分类法,并识别出新的事件表示方法。通过实验证明,我们的端到端学习事件表示的方法相对于现有技术方法,在光流估计和目标识别上都有约 12%的改进。
Apr, 2019
本研究提出了一种通用的框架,将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型,以便直接利用事件数据的本质异步性和稀疏性,并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。
Mar, 2020
本研究利用事件相机、脉冲神经网络及事件增强技术实现基于事件的面部表情识别,并与传统人工神经网络做性能比较,结果表明脉冲神经网络模型虽然能够实现较好的识别性能,但能耗仅为传统神经网络的 1/65。
Apr, 2023
本研究提出了 EventNet,一种基于新型视觉传感器的神经网络,旨在实时处理异步事件流,并采用了新的时间编码方案来建模输出对数万个因果事件的依赖关系,同时在标准 CPU 上每秒处理百万个事件,通过实验验证了该框架的实时性和稳健性。
Dec, 2018