Aug, 2023

3ET: 使用基于变化的 ConvLSTM 网络的高效事件驱动眼动追踪

PDF
TL;DR本研究提出了一种用于事件驱动眼动追踪的稀疏变化卷积长短期记忆（CB-ConvLSTM）模型，对于下一代可穿戴医疗技术如 AR/VR 头戴式设备至关重要。该模型利用了受视网膜启发的事件相机的优势，即低延迟响应和稀疏输出事件流，超过传统基于帧的摄像机。CB-ConvLSTM 架构能从事件流中高效提取时空特征进行瞳孔跟踪，胜过传统 CNN 结构。通过利用增强稀疏激活的增量编码循环路径，CB-ConvLSTM 在经过标记的瞳孔数据集上测试时能减少约 4.7 倍的算术运算而不损失精度。这种提高效率的进展使得它非常适合在资源受限设备上进行实时眼动追踪。项目代码和数据集可以在 https://github.com/qinche106/cb-convlstm-eyetracking 获取。
发现论文，激发创造
  • 一种基于事件相机的在线眼动跟踪的轻量级时空网络

    基于事件的数据在边缘计算环境中十分常见，我们提出了一种因果时空卷积网络，以实现与这些数据的接口和利用丰富的时态特征，并通过简单的架构和操作（卷积、ReLU 激活）及在线推断效率配置、通过规范化训练实现超过 90% 的激活稀疏度，从而在基于事件的处理器上实现极大的效率增益。此外，我们还提出了一种直接作用于事件的通用仿射增强策略，缓解了基于事件的系统中数据集稀缺的问题。我们将该模型应用于 AIS 2024 基于事件的视觉注视挑战，并在 Kaggle 私人测试集上达到了 0.9916 的 P10 准确率。

    Apr, 2024

  • 与子流形稀疏 CNN 共同设计的亚毫秒延迟事件驱动眼动追踪系统

    基于眼动追踪技术和 FPGA 数据流加速器的稀疏卷积神经网络系统拥有优秀的性能度量指标。

    Apr, 2024

  • MambaPupil: 事件驱动的双向选择性循环模型用于眼动跟踪

    本文提出了 MambaPupil 网络作为一种稳定的基于事件的眼动追踪系统，其采用双向长期序列建模和时变状态选择机制，充分利用上下文时间信息以适应眼动的多样性和突变性。该网络利用多层卷积编码器从事件表示中提取特征，采用双向门控循环单元（GRU）和线性时变状态空间模块（LTV-SSM）选择性地捕获正向和反向时间关系中的上下文相关性。此外，该网络使用 Bina-rep 作为紧凑的事件表示，并提出了名为 Event-Cutout 的特定数据增强方法，通过对事件图像进行空间随机掩盖来增强模型的稳健性。在 ThreeET-plus 基准测试中，MambaPupil 表现出卓越的性能，在 CVPR'2024 AIS 基于事件的眼动追踪挑战中获得第一名。

    Apr, 2024

  • 基于可形变卷积和 LSTM 的灵活事件帧融合网络用于动态去模糊

    本研究提出了一种使用 LSTM-based event 特征提取模块的 Deformable Convolutions 网络，以灵活地融合动态变化的事件帧，能够在光照条件或场景中存在快速移动物体的情况下优于现有的运动去模糊网络。

    Jun, 2023

  • 基于事件的异步稀疏卷积网络

    本研究提出了一种通用的框架，将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型，以便直接利用事件数据的本质异步性和稀疏性，并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。

    Mar, 2020

  • 一种低功耗的神经形态学方法实现高效眼动跟踪

    本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。

    Dec, 2023

  • 基于事件相机的物体识别的注意力机制

    本文提出了基于视觉关注的两种事件视觉注意力模型，一种通过跟踪视野内的事件活动来定位关注区域，另一种基于 DRAW 神经模型和全微分注意力程序，使用 Phased LSTM 识别网络作为基线参考模型并在四个数据集上进行验证，获得了在平移和尺度不变性方面的提升。

    Jul, 2018

  • 一个可微分的面向异步事件数据的循环表面

    本文提出 Matrix-LSTM，基于一系列 LSTM 节点的网格结构可以高效处理事件，并且可以学习端到端的基于任务的事件表面，比现有的重建方法具有更好的灵活性和表现力，在 MVSEC 基准测试中对光流估计以及在 N-Cars 数据集上的事件分类方面，跑出 state-of-the-art 的成绩。

    Jan, 2020

  • EDeNN: 用于低延迟视觉的事件衰减神经网络

    利用事件相机的异步像素来开发新型神经网络在角速度回归和光流估计方面表现出最先进的性能。

    Sep, 2022

  • 眨眼之间：基于事件的情绪识别

    我们介绍了一种可穿戴的单眼情绪识别设备和一种能够实时识别部分情绪观察的情绪识别方法，该方法对光照条件的变化具有鲁棒性。

    Oct, 2023