CVPRApr, 2024

MambaPupil: 事件驱动的双向选择性循环模型用于眼动跟踪

PDF
TL;DR本文提出了 MambaPupil 网络作为一种稳定的基于事件的眼动追踪系统，其采用双向长期序列建模和时变状态选择机制，充分利用上下文时间信息以适应眼动的多样性和突变性。该网络利用多层卷积编码器从事件表示中提取特征，采用双向门控循环单元（GRU）和线性时变状态空间模块（LTV-SSM）选择性地捕获正向和反向时间关系中的上下文相关性。此外，该网络使用 Bina-rep 作为紧凑的事件表示，并提出了名为 Event-Cutout 的特定数据增强方法，通过对事件图像进行空间随机掩盖来增强模型的稳健性。在 ThreeET-plus 基准测试中，MambaPupil 表现出卓越的性能，在 CVPR'2024 AIS 基于事件的眼动追踪挑战中获得第一名。
event-based eye trackingmambapupilbidirectional long-term sequence modelingtime-varying state selection mechanismeye movements
发现论文，激发创造
  • 3ET: 使用基于变化的 ConvLSTM 网络的高效事件驱动眼动追踪

    本研究提出了一种用于事件驱动眼动追踪的稀疏变化卷积长短期记忆（CB-ConvLSTM）模型，对于下一代可穿戴医疗技术如 AR/VR 头戴式设备至关重要。该模型利用了受视网膜启发的事件相机的优势，即低延迟响应和稀疏输出事件流，超过传统基于帧的摄像机。CB-ConvLSTM 架构能从事件流中高效提取时空特征进行瞳孔跟踪，胜过传统 CNN 结构。通过利用增强稀疏激活的增量编码循环路径，CB-ConvLSTM 在经过标记的瞳孔数据集上测试时能减少约 4.7 倍的算术运算而不损失精度。这种提高效率的进展使得它非常适合在资源受限设备上进行实时眼动追踪。项目代码和数据集可以在 https://github.com/qinche106/cb-convlstm-eyetracking 获取。

    Aug, 2023

  • Mamba-FETrack: 基于状态空间模型的帧事件跟踪

    RGB-Event based tracking framework, Mamba-FETrack, utilizing State Space Model achieves high-performance tracking while reducing computational costs, providing efficiency and effectiveness.

    Apr, 2024

  • 重新思考面向事件相机的高效有效的基于点的网络：EventMamba

    EventMamba 是一个高效和有效的点云框架，通过优化网络结构实现了对时间信息的提取，并在分类和回归任务中表现出与基于帧的方法相媲美的结果，同时具有轻量级设计原则，实现了卓越的效率和效果。

    May, 2024

  • 基于事件相机的物体识别的注意力机制

    本文提出了基于视觉关注的两种事件视觉注意力模型，一种通过跟踪视野内的事件活动来定位关注区域，另一种基于 DRAW 神经模型和全微分注意力程序，使用 Phased LSTM 识别网络作为基线参考模型并在四个数据集上进行验证，获得了在平移和尺度不变性方面的提升。

    Jul, 2018

  • 与子流形稀疏 CNN 共同设计的亚毫秒延迟事件驱动眼动追踪系统

    基于眼动追踪技术和 FPGA 数据流加速器的稀疏卷积神经网络系统拥有优秀的性能度量指标。

    Apr, 2024

  • 视觉曼巴：具有双向状态空间模型的高效视觉表示学习

    本文提出了一种新的通用计算机视觉基础模型 Vim，该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示，并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。

    Jan, 2024

  • 基于事件的动态模糊矫正学习

    本文提出了一种基于事件相机的深度学习方法，通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识，提取边界先验信息，从而达到了恢复运动模糊图像的最佳质量，适用于真实世界的运动模糊问题。

    Apr, 2020

  • 关于视觉曼巴的调查

    该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。

    Apr, 2024

  • 基于视网膜事件的端到端目标动态估计的学习，用于事件驱动的目标跟踪

    本文提出了一种基于事件相机和深度神经网络的实时物体追踪方法，使用同步时间表面和线性时间衰减表示异步视网膜事件的信息，并通过独创的神经网络模型处理各种复杂的情况，如快速动态和低照度条件等使得实验结果表明该方法优于以往传统的物体追踪方法。

    Feb, 2020

  • Vision Mamba: 模型、应用和挑战综述

    在这篇综述性文章中，我们回顾了 Mamba 模型的起源和核心见解，并将 Mamba 应用于不同的计算机视觉任务。我们对各种图像、视频、点云、多模态等应用进行了分类和组织，为未来在这个快速发展的领域中提供了挑战和研究方向。

    Apr, 2024