Jun, 2023

通过语言模型预测手掌动作 @ Ego4D 长期行为预测挑战赛 2023

PDF
TL;DRPalm 是一种利用视觉语言和大型语言模型解决长期动作预测任务的解决方案，通过组合图像字幕模型和大型语言模型可以提高常识推理能力， 并在 EGO4D LTA 挑战赛中表现出比其他参与者更好的动作预测表现。
long-term action anticipationvision-languagelarge language modelscommonsense-based reasoningego4d lta challenge
发现论文，激发创造
  • LALM：基于语言模型的长期行动预测

    使用语言模型的长期动作预测方法 (LALM) 在 egocentric vision 中取得了领先地位，通过整合动作识别模型与视觉 - 语言模型，利用过去的事件信息进行动作预测，达到了在不同复杂活动中的泛化能力。

    Nov, 2023

  • AntGPT：大型语言模型能否帮助从视频中进行长期动作预测？

    通过利用大型语言模型，我们提出了一种用于长期动作预测的两阶段框架 AntGPT，能够在人机交互中对未来行为进行准确预测，并且取得了最新的研究成果。

    Jul, 2023

  • 2023 Ego4D 长期行动预测挑战技术报告

    本报告描述了我们在 Ego4D 長期動作預測挑战赛 2023 中的技术细节，我们引入了三个改进，包括 SlowFast 和 SlowFast-CLIP 模型的集合，放松未来动作的顺序限制，以及基于词共现的操作类（动词、名词）的预测，优化了基线性能，取得了公共排行榜的第二名。

    Jul, 2023

  • Ego4D 长期动作预测的 Video + CLIP 基线

    本文报道了我们在长期行动预测方面使用图像 - 文本模型的调整。我们的视频 + CLIP 框架利用了大规模预先训练的成对图像 - 文本模型：CLIP 和视频编码器 Slowfast 网络。两个编码器得到的特征互补，因此在 Ego4D 上的长期行动预测任务中优于基线。我们的代码位于 github.com/srijandas07/clip_baseline_LTA_Ego4d。

    Jul, 2022

  • 预训练语言模型作为人类辅助的视觉规划器

    本研究提出了『Visual Planning for Assistance (VPA)』的任务，通过视频中的行动段落和预测，使用预训练语言模型处理长时间的视频历史数据和复杂的行动依赖关系，从而使『multi-modal AI assistants』能够指导用户攻克复杂的多步骤目标。

    Apr, 2023

  • 重新思考长期行动预测的学习方法

    ANTICIPATR 模型使用 segment-level representations 和 video-level representation 进行时间跨度较大的 action anticipation 任务，能够直接预测未来一段时间的行为实例。在 Breakfast、50Salads、Epic-Kitchens-55 和 EGTEA Gaze+ 数据集上得到了较好的结果。

    Oct, 2022

  • LEAP: LLM - 基于我为中心的行动程序生成

    LEAP 是一种通过使用大型语言模型（Large Language Model）生成视频相关行动程序的新方法，这些行动程序代表行动的动作、感知和结构方面，并包括子动作、前后条件和控制流。通过在 EPIC Kitchens 数据集的大部分训练集上应用 LEAP，并发布生成的行动程序，我们将 LEAP 作为辅助监督源，通过应用其行动程序对行动识别和预测网络施加的损失函数，我们在这两个任务上实现了显著的性能提升。截至 11 月 17 日，我们的方法在 EPIC Kitchens 行动识别排行榜上排名第一。

    Nov, 2023

  • 基于第一人称视频的动作预测的滚动展开 LSTM

    本文提出了一种基于 Rolling-Unrolling LSTM、序列完成预训练技术和 Modality ATTention 机制的方法来预测自我中心视频中未来的行动和交互对象，并在 EPIC-Kitchens、EGTEA Gaze + 和 ActivityNet 数据集上验证了其有效性。

    May, 2020

  • PALM: 为上下文有条件生成训练自编码和自回归语言模型的预训练

    本文提出了一种新颖的方法 PALM，用于在大规模无标签语料库上联合预训练自编码和自回归语言模型，特别为给定上下文生成新文本设计，实验证明该方法在各种语言生成基准测试中均取得了新的最优结果。

    Apr, 2020

  • 无损的预期行动：使用大型视频语言模型进行可实现动作预测

    通过引入 PlausiVL，我们开发了一个大规模视频语言模型，提供了在现实世界中可能发生的行动序列的能力，并引入了两个客观函数，即基于反事实的可行动作序列学习损失和长时程行动重复损失，用以探讨行动序列的可行性。我们通过利用时态逻辑约束和动词 - 名词动作对逻辑约束来创建不可信 / 反事实行动序列，并使用这些序列以合理动作序列学习损失训练模型，以便模型区分可行和不可行的行动序列，并学习隐含的针对行动预测任务的时间暗示。长时程行动重复损失对于在更长的时间窗口内容易重复的动作施加更高的惩罚，增强模型生成多样且可行的行动序列能力。我们在两个大规模数据集（Ego4D 和 EPIC-Kitchens-100）上评估了我们的方法，并在行动预测任务中取得了显著改善。

    May, 2024