CVPRDec, 2017

静态图像的动作幻觉用于动作识别的 Im2Flow 算法

PDF
TL;DR通过一个 encoder-decoder CNN 和 optical flow 方法，我们的研究为静态图像动作识别提供了一个新方法，即学习一个短期动态先验，在新的静态图像上推断预期的光流，成功地将学习的动作转移至标准的两流网络中，并且在七个数据集上表现出了良好的性能。
static-image action recognitionshort-term dynamicsoptical flowencoder-decoder convolutional neural networktwo-stream network
发现论文，激发创造
  • 从静态图像密集光流预测

    本文利用卷积神经网络预测未来的运动并使用万几组视频来训练模型，不需要任何人工标记标签并提供在各种情况下的未来光学流预测。

    May, 2015

  • ActionFlowNet：学习动作表示以进行动作识别

    我们提出了一种多任务学习模型 ActionFlowNet，将外部光流数据输入到卷积神经网络中，同时训练网络以从原始像素中直接识别动作和估计光流，从而捕捉单个模型中的外观和运动信息，提高动作识别准确率。

    Dec, 2016

  • 动作识别的流动力学校正

    基于光流和动作识别，本文研究不同类型的光流及从光流中提取的特征，通过对光流动态进行功率归一化以纠正流动态并提高性能，进一步将修正后的流动态集成到流行模型中，并通过简单的幻觉步骤翻译 CNN 特征图到不同尺度的光流特征，取得多个基准测试中的最佳性能。

    Oct, 2023

  • 视频分类的光流特征幻象

    本文提出了一种名为 MoNet 的运动幻觉网络，通过从外观特征想象光流特征，而无需依赖光流计算，大幅度提高了视频分类性能，同时能够帮助削减一半的计算和数据存储负担。

    May, 2019

  • 使用 CNN 识别行为的幻觉 IDT 描述符和 I3D 光流特征

    本文提出了一种采用手工制作的视频表示方法和 CNN 异步技术进行动作识别的方法，并建议一种端到端可训练的网络流结构，用于简化该方法的处理流程，同时在四个公开数据集上获得了最新的结果。

    Jun, 2019

  • 动态视觉刺激的神经表征

    人类通过不断变化的视觉刺激来感知世界，其中场景可以移动、改变外观和距离。这篇研究论文针对动态视觉刺激的大多数研究聚焦于静态刺激，限制了对人类视觉的调查。与之相反，动态视觉刺激提供了更符合生态有效性的方法，但由于时空信息的相互作用，使得解耦稳定图像特征和运动表征的困难增加。为了解决这个问题，在动态输入情况下，我们明确地解耦了人脑中静态图像表征和运动表征的建模。三个结果证明了这个方法的可行性。首先，我们展示了视觉运动信息（如光流）可以从 fMRI 测得的脑活动中预测（或解码）出来。其次，我们展示了可以使用这个预测运动来使用基于运动条件的视频扩散模型（其中运动由 fMRI 脑活动驱动）逼真地使静态图像动画化。第三，我们展示了在相反方向上的预测：现有的视频编码器可以进行微调，从视频图像中预测 fMRI 脑活动，并且相较于图像编码器能更有效地进行预测。这项基础工作为解释人类大脑如何处理动态视觉信息提供了一种新颖且可扩展的框架。

    Jun, 2024

  • 基于双流流程引导的卷积注意力网络用于动作识别

    本文提出了一种用于视频动作识别的两流光流引导卷积注意网络模型，通过正确补偿相机运动，可以用光流来引导关注人类前景，从而防止背景干扰，得到了良好的性能表现。

    Aug, 2017

  • 静态图像中的运动预测

    该论文提出了一种新的方法，通过在一组视频中学习，从单个静态图像中预测运动，该方法利用结构随机森林和回归来学习局部运动模式，并在多种应用程序中添加预测的运动，例如弱帧提议、动作识别和运动显著性。研究表明，运动预测不仅可行，而且对多种应用程序提供有价值的信息。

    Mar, 2018

  • 静态图像中的自监督运动学习

    本文提出了一种自监督学习的方法 —— 通过分类静态图像生成的伪运动来学习运动信息，从而识别运动区域并改善动作识别的性能。在下游数据集上不需要调整参数即可发现大运动区域。

    Apr, 2021

  • 使用多视角动态图像进行深度视频动作识别

    该研究扩展了动态成像技术在深度领域的应用，提出了多视角动态图像的概念，并通过卷积神经网络实现了特征学习与动作分析。

    Jun, 2018