Oct, 2020

事件基于动作识别的时间二进制表示

PDF
TL;DR本文提出了一种事件聚合策略，将事件相机的输出转换为传统计算机视觉算法可处理的帧。我们将这种策略称为时间二进制表示，将其应用于手势识别任务中，并在流行的 DVS128 手势数据集上获得了最先进的结果。
event cameracomputer visiontemporal binary representationgesture recognitiondeep learning
发现论文，激发创造
  • 基于时空滤波的事件驱动行为识别

    本文提出了在事件域中进行时空过滤的方法，通过学习局部时空权重矩阵，增强卷积神经网络对动作识别的性能， 在 DVS Gesture 数据集和新录制的动作识别数据集上显著改善。

    Mar, 2019

  • 异步事件数据表示的端到端学习

    本文介绍了将事件流转化成基于网格的表示的通用框架，其具有两个主要优势：（i）允许端到端学习输入事件表示，（ii）提供了一个统一记录大多数事件表示的分类法，并识别出新的事件表示方法。通过实验证明，我们的端到端学习事件表示的方法相对于现有技术方法，在光流估计和目标识别上都有约 12％的改进。

    Apr, 2019

  • 用于长距离视频理解的时间聚合表示

    本文提出了一种灵活的多粒度时间聚合框架，用简单的技术如最大池化和注意力实现了最新的下一步行动和密集预测，并在 Breakfast，50Salads 和 EPIC-Kitchens 数据集上取得了最新的实验结果，且兼容于视频分割和动作识别。

    Jun, 2020

  • 用于事件检测的区分性 CNN 视频表示

    本文讨论如何利用深度卷积神经网络和适当的编码方法来提高视频事件检测的性能，建议使用潜在概念描述符作为帧描述符，并实现新的最先进性能。

    Nov, 2014

  • 极低分辨率动作识别的全耦合双流时空网络

    本文提出了一种全耦合的两路时空结构体系框架，可在极低分辨率（如 12x16 像素）视频中可靠地识别人的动作，以保护人们的隐私，同时在训练期间考虑高分辨率视频以建立更好的低分辨率模型，取得了明显的改进。

    Jan, 2018

  • E$^2$(GO) MOTION：一种用于第一视角动作识别的动作增强事件流技术

    本文提出了利用事件相机数据进行自我中心行为识别的两种策略，并将其应用于首个基于事件相机的视频数据集，结果表明，事件数据不仅可在不需要流计算的情况下提供与 RGB 和光流同等的性能，而且相比仅使用 RGB 信息提高了 4％的表现。

    Dec, 2021

  • HATS: 基于均值时间曲面直方图的鲁棒事件驱动物体分类

    本文介绍了一种新的事件相机特征表示方法和新的机器学习架构，并发布了第一个用于对象分类的大型真实事件数据集，经过广泛的实验证明，相对先前的方法，本文方法具有更好的分类性能和实时计算能力。

    Mar, 2018

  • 视频二值化的神经形态协同

    提出了一个基于事件的二进制重建方法，利用双模态目标的属性先后在事件空间和图像空间中执行推理，并合并两个领域的结果以生成清晰的二进制图像。还开发了一种有效的集成方法，将该二进制图像传播到高帧速率的二进制视频中。最后，提出了一种新方法，用于自动识别阈值，将事件和图像自然融合起来。在公开可用和自己收集的数据序列中评估了该方法，并表明在仅使用 CPU 设备的实时环境中，该方法能够优于目前最先进的方法生成高帧速率的二进制视频。

    Feb, 2024

  • 时序中的符号：将人体动作编码为时间图像

    论文提出了一种图像编码方法，将人体运动在视频序列中的姿态信息简洁地表示为一列，以适合使用 ConvNet 进行学习，应用于英国手语视频中识别和定位手势，仅使用弱（片段级）监督和大量标签噪声训练，可学习出仅有 10 帧持续时间的手势。

    Aug, 2016

  • 事件相机的时间映射摄影

    该研究介绍了一种使用静止事件相机在静态场景中实现事件转换为密集强度图像的方法，并通过时间映射神经网络将时序矩阵转换为强度帧。实验证明该方法在动态范围、细节和灰度分辨率方面表现出卓越的性能，并比其他方法在下游计算机视觉任务上表现出更好的性能。

    Mar, 2024