ICCVMar, 2017

促进 LSTMs 早期预测动作

PDF
TL;DR本文提出了一种新的动作预测方法，该方法基于多阶段 LSTM 网络并运用上下文感知和动作感知特征以及引入了一种新的损失函数，可以在视频序列仅有少量片段的情况下实现高准确度的预测，并在多个公开数据集上超过了先前最优的动作预测方法，相对提升了 22.0％（JHMDB-21），14.0％（UT-Interaction），和 49.9％（UCF-101）的准确率。
发现论文，激发创造
  • 重新思考长期行动预测的学习方法

    ANTICIPATR 模型使用 segment-level representations 和 video-level representation 进行时间跨度较大的 action anticipation 任务，能够直接预测未来一段时间的行为实例。在 Breakfast、50Salads、Epic-Kitchens-55 和 EGTEA Gaze+ 数据集上得到了较好的结果。

    Oct, 2022

  • 通过想象学习预测自我中心动作

    本论文衡量了自主驾驶和机器人等实际应用中关键领域的动作预测任务。为了更准确的预测未来的动作，提出利用未观察的帧的标志挖掘做出预测，利用 ImagineRNN 将动作预测分解为一系列未来功能预测，并通过代理任务和残差预测进一步改进模型。

    Jan, 2021

  • 基于第一人称视频的动作预测的滚动展开 LSTM

    本文提出了一种基于 Rolling-Unrolling LSTM、序列完成预训练技术和 Modality ATTention 机制的方法来预测自我中心视频中未来的行动和交互对象，并在 EPIC-Kitchens、EGTEA Gaze + 和 ActivityNet 数据集上验证了其有效性。

    May, 2020

  • 行为预测的深度学习技术综述

    该研究对行为预测算法在日常生活场景中的最新进展进行了回顾和分类总结，着重关注深度学习方法。此外，研究还探讨了常见的评估指标和数据集，并提出了未来的研究方向。

    Sep, 2023

  • 标签平滑的行动预测知识蒸馏

    本研究提出了一种基于 LSTM 网络的多模态框架，用于捕捉和模拟多标签的行动预测问题，并引入标签平滑的概念，以提高机器人技术在人机交互、辅助生活和自动驾驶等领域的预见性。

    Apr, 2020

  • 通过预测未来动态图像来预测动作

    本文提出了一种使用动态图像和定制损失函数的生成模型来预测人类行为的方法，该方法在三个基准测试中相较于现有的最佳方法增强了 4% 至 5.2% 的预测准确性。

    Aug, 2018

  • 从未标注的视频预测视觉表达

    该论文提出了一种利用未标记视频进行计算机视觉的动作和物体预测的深度学习框架，并采用可预测图像特征的目标识别算法进行实验验证。

    Apr, 2015

  • 用 Rolling-Unrolling LSTM 和模态注意力预测以自我为中心的行为

    本研究提出了一种基于 LSTMs 和 Modality ATTention (MATT) 机制的行为预测框架，能够对计算机视觉领域的尺度序列问题进行有效解决，同时在 EPIC-Kitchens 等数据集上表现出色。

    May, 2019

  • 视频中的预测与下一个动作预测：基于端到端的具有记忆的模型

    提出一种基于记忆的端到端网络进行行为预测与预测，表明使用动态内存训练历史可以显着提高预测性能。

    Jan, 2019

  • 预测未来：联合学习模型用于行动预测

    本篇论文提出了一种行动预测模型，受人类神经结构的启发，在预测未来视觉和时间表现方面，能够预测合理的未来行动，并证明使用视觉和时间语义的场景表示结合递归生成对抗网络 (GAN) 框架可以实现未来表现的表示综合，该模型在多个数据集上优于当前最先进的方法。

    Dec, 2019