Jul, 2023

基于事件的视觉技术早期预测操纵动作

PDF
TL;DR该研究介绍了一种基于事件的数据集，用于细粒度操作动作的预测，使用的模型是基于事件进行在线推理的 Transformer 网络，该模型成功地预测了动作，并通过时间逐渐增加信心，达到了最先进的分类效果，并且优于基于视频的方法，适用于具有非常微妙差异的场景。同时，该研究还发布了第一个用于操作动作识别的事件数据集。
neuromorphic visual sensorsevent-based datasettransformersaction predictionmanipulation action recognition
发现论文，激发创造
  • 基于事件相机的物体识别的注意力机制

    本文提出了基于视觉关注的两种事件视觉注意力模型，一种通过跟踪视野内的事件活动来定位关注区域，另一种基于 DRAW 神经模型和全微分注意力程序，使用 Phased LSTM 识别网络作为基线参考模型并在四个数据集上进行验证，获得了在平移和尺度不变性方面的提升。

    Jul, 2018

  • EventTransAct：基于视频变换器的基于事件摄像机的动作识别框架

    本研究旨在通过使用事件相机进行行为识别，提出了一种基于视频变换网络和事件对比损失的计算高效模型。该模型在真实世界中的行为识别任务中表现出卓越性能，并且相较于其他方法具有更低的计算时间，适用于基于事件相机的行为识别应用。

    Aug, 2023

  • 基于神经网络事件分割的层次预期建立

    通过自主学习的潜在事件编码，我们模拟了层次预测的发展，并提出了一种采用递归神经网络的分层体系结构，能够生成能够压缩感知动作序列的稀疏变化潜在状态。高层网络能预测潜在状态发生变化的情况。我们在仿真机器人操纵器上进行了实验，结果显示这个系统学习到了准确的数据事件结构，能够生成类似于婴儿眼追踪研究中发现的目标预期行为，并且为自主学习压缩层次编码和利用这些编码来生成自适应行为提供了新的方式。

    Jun, 2022

  • 操纵动作预测

    本文研究了灵巧动作的预测，使用新型的递归神经网络方法进行了行动预测并比较了人类表现，表明了算法预测灵巧行动所作用的力量的能力。

    Oct, 2016

  • 视觉 Transformer 在动作识别中的应用：一份调研报告

    本文针对视觉 transformer 在人体动作识别领域的研究进展进行了综述，主要就其架构、模态、目标、编码、降维、自监督学习、评估指标等方面展开阐述，并探讨了其存在的挑战和未来发展方向。

    Sep, 2022

  • 基于视觉模型的行人动作预测分析

    本文研究如何利用图像信息来预测行人的行为，提出了几种基于 CNN 和 Transformer 的时空模型，分析了这些模型的预测结果的可解释性，强调在行人行为预测问题中可解释性的重要性。

    May, 2023

  • 视频动作转换网络

    本文介绍了行动转换器模型用于识别和定位视频剪辑中的人类动作，使用 Transformer 风格的架构聚合人物周围的时空背景特征，通过高分辨率、个性化、类别不可知的查询，该模型自动学习跟踪个人并从他人的动作中获取语义上下文

    Dec, 2018

  • 注意分心事件追踪

    提出了一种引入了变压器模块的具有抗干扰能力的事件驱动跟踪器，在两个大型事件跟踪数据集上验证了其在准确性和效率方面优于现有的最先进跟踪器。

    Oct, 2023

  • 基于 Transformer 的人类注视行为在视频中的预测模型

    基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法，通过观看视频并模拟人类注视行为，该方法能有效地复制人类注视行为并应用于实际任务。

    Apr, 2024

  • 在神经形态摔倒检测和动作识别数据集上评估传统视觉模型

    提出针对神经形态感知相机的人体动作识别和跌倒检测数据集，使用先进视觉模型 Fine-tuned 的方法，各模型准确度分别为：DVS-MViT（0.958），DVS-C2D（0.916），DVS-R2+1D（0.875）和 DVS-SlowFast（0.833）。

    Jan, 2022