Mar, 2024

暗环境下采用时间编码事件驱动神经网络的注视向量估计

PDF
TL;DR本文研究了注视向量预测的复杂挑战，重点是在极低光条件下的创新方法，通过使用一种新的时间事件编码方案和专用的神经网络架构，将动态视觉传感器（DVS）事件与灰度引导帧无缝集成，生成连续编码图像输入到神经网络中，这种独特的解决方案不仅捕捉了活跃年龄组参与者的多样化视线反应，还推出了专门针对低光条件的精选数据集。编码后的时间帧与我们的网络相配，展示了令人印象深刻的空间定位和可靠的注视方向预测。通过在具有挑战性的低光视频中精确预测时间连续编码图像的注视向量，取得了 100% 的 100 像素准确率，突显了我们神经网络在注视预测技术的进展中的潜力。
发现论文，激发创造
  • 基于事件视频流的预测性时间注意力用于高效节能的情境感知

    基于人脑中的预测编码模型和期望抑制现象，我们提出了一种时间注意机制，通过控制相机的输出使其仅在无法很好预测的情况下注意到视觉事件，从而不仅减少了传感器 - 处理器接口的能耗，而且通过过滤噪声事件有效地减少了计算工作量，我们证明了这种预测注意机制可将相机和处理器之间的数据通信量减少 46.7％，处理器上的计算活动减少 43.8％。

    Feb, 2024

  • 时空循环神经网络用于基于事件的光流估计

    本文提出了一种新颖的输入表示法，捕捉事件的时间分布以增强信号，并介绍了一种利用卷积门控循环单元从一系列事件图像中提取特征图的时空循环编码 - 解码神经网络体系结构，其中允许整合一些基于帧的核心模块，如相关层和迭代残差精化方案，它在 Multi-VehicleStereoEventCamera 数据集上进行自我监督学习的端到端训练，表现优于现有所有最先进的方法。

    Sep, 2021

  • EDeNN: 用于低延迟视觉的事件衰减神经网络

    利用事件相机的异步像素来开发新型神经网络在角速度回归和光流估计方面表现出最先进的性能。

    Sep, 2022

  • 利用人类注视数据监督视频字幕生成神经注意模型

    本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

    Jul, 2017

  • 一种低功耗的神经形态学方法实现高效眼动跟踪

    本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。

    Dec, 2023

  • 事件相机的时间映射摄影

    该研究介绍了一种使用静止事件相机在静态场景中实现事件转换为密集强度图像的方法，并通过时间映射神经网络将时序矩阵转换为强度帧。实验证明该方法在动态范围、细节和灰度分辨率方面表现出卓越的性能，并比其他方法在下游计算机视觉任务上表现出更好的性能。

    Mar, 2024

  • 在神经形态摔倒检测和动作识别数据集上评估传统视觉模型

    提出针对神经形态感知相机的人体动作识别和跌倒检测数据集，使用先进视觉模型 Fine-tuned 的方法，各模型准确度分别为：DVS-MViT（0.958），DVS-C2D（0.916），DVS-R2+1D（0.875）和 DVS-SlowFast（0.833）。

    Jan, 2022

  • 个性化视频视线估计的时空注意力和高斯过程

    使用深度学习模型和专门的注意力模块，通过视频实现准确的注视方向预测，并且通过个性化处理和少量样本获得更高的精度。

    Apr, 2024

  • 基于事件的移动物体检测与跟踪

    本文提出了一种基于动态视觉传感器的异步相机的新颖跟踪算法，该算法可以在极低光和噪声条件下，无需任何外部传感器，且无需任何特征跟踪或显式光流计算即可检测和跟踪不同移动对象。

    Mar, 2018

  • 与子流形稀疏 CNN 共同设计的亚毫秒延迟事件驱动眼动追踪系统

    基于眼动追踪技术和 FPGA 数据流加速器的稀疏卷积神经网络系统拥有优秀的性能度量指标。

    Apr, 2024