CVPRApr, 2021

视频预测：通过记忆对齐学习长期运动上下文

PDF
TL;DR该研究提出了一种基于长期记忆机制的运动上下文感知视频预测方法，通过引入长期运动上下文记忆（LMC-Memory）和记忆对查询分解，解决了在低维动态输入情况下预测高维、复杂运动上下文的难题。实验证明，该方法在长期情况下优于其他 RNN-based 方法。
发现论文，激发创造
  • 通过建模运动环境和增强运动动态来进行长期人体运动预测

    本文提出了一种运动背景下的人类运动预测方法，通过摘要历史人类运动来生成当前预测，同时引入修改过的高速公路单元并最小化克矩阵损失来增强运动动态，能够有效地预测未来的人类动作并提高模型性能，同时能够进行运动背景下的人类运动转化。

    May, 2018

  • 基于格子长短期记忆的人类动作识别

    L2STM 是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法，结合多模态训练程序，在人类动作识别方面表现优于现有的基于 LSTM 和 / 或 CNN 的方法。

    Aug, 2017

  • 增强语言模型的长期记忆

    提出了一种名为 LongMem 的框架，该框架通过引入长期记忆机制，使得语言模型能够利用历史上下文信息，从而使得模型在文本生成等任务中取得了优异效果。

    Jun, 2023

  • 大型语言模型驱动的上下文感知运动预测

    通过利用大型语言模型（LLMs）增强全局交通语境理解来提高动作预测任务的准确性，并考虑到 LLMs 的成本，我们提出了一种成本效益的部署策略：通过拥有 0.7% 的 LLM 增强数据集来扩大动作预测任务的准确性。

    Mar, 2024

  • 多智能体运动预测的动态和静态上下文感知 LSTM

    使用动态和静态上下文感知运动预测器 (DSCMP) 将富含信息的空间交互作用、时间相依性、场景布局集成到长项短记忆（LSTM）中，学习多个代理 (如行人) 的未来轨迹，具有动态交互、学习 long-trajectory 关联性和推断场景潜在变量等优点。相比现有方法，DSCMP 在 ETH-UCY 和 SDD 数据集上相对改进分别为 9.05% 和 7.62%。

    Aug, 2020

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • 基于场景上下文的人类长期动作预测

    本文通过提出新的三阶段框架来对人类运动进行长期预测，在考虑环境场景的情况下大大提高了预测准确性，并提供了具有清晰注释的多样化合成数据集来实现稳定的训练和严格的评估。

    Jul, 2020

  • 语境长距离从语言到视觉的转换

    通过扩展语言模型的上下文长度，我们实现了视频片段中的长上下文传递，使得大型多模态模型能够理解数量级更多的视觉标记，并开发了一个纯合成的长视觉基准测试，证明了 Long Video Assistant（LongVA）在处理长视频方面的优越性能。

    Jun, 2024

  • 利用长短期记忆预测道路交通速度中的动态时空语境

    本研究提出一种动态局部化长短期记忆（LSTM）模型，通过使用局部动态空间权重矩阵和其动态变化，考虑时间和空间上的复杂动态相互作用，对道路之间的时空关系进行建模，能够处理具有长时序依赖和复杂非线性特征的序列数据，并在实验证明了该模型相比基线方法具有更好的预测性能。

    Dec, 2021

  • 上下文感知的人体动作预测

    本文利用语义图模型和图注意力层来建立上下文感知体系结构，旨在正确建模人类行为中的对象和人际互动以提高人类运动的预测准确性。通过在全身人类动作数据库上进行的彻底评估，论文显示出模式的优越性。

    Apr, 2019