CVPRJul, 2022

EPIC-KITCHENS-100 多实例检索挑战赛 2022 年，自我中心视频语言预训练

PDF
TL;DR本文提出了基于视频 - 语言预训练的解决方案，利用最近发布的 Ego4D 数据集，从预训练数据集、预训练目标和开发集的角度开创了自我中心的视频 - 语言预训练学习，从而获得了优秀的性能表现。
video-language pretrainingegocentric vlpmulti-instance retrievalego4d datasetmax-margin loss
发现论文，激发创造
  • 自我中心视频 - 语言预训练

    本文提出了一种新的视频语言预训练（Video-Language Pretraining）方法 ——Egocentric VLP，通过利用新发布的 Ego4D 数据集，分别从 EgoClip，EgoNCE 和 EgoMCQ 三个方向进行探索，最终成功在五个自我中心任务上实现了强大的表现。

    Jun, 2022

  • EgoVLPv2: 骨干网络中融合的自我中心视频语言预训练

    本文介绍第二代自我中心视频 - 语言预训练 (EgoVLPv2)，通过将跨模态融合直接纳入视频和语言主干网络，学习强大的视频文本表示，并在下游任务中灵活有效地支持不同的任务，并且我们提出的主干融合策略比堆叠额外的融合特定层更轻量化和计算效率更高。

    Jul, 2023

  • EgoVideo: 探索自我中心的基础模型和下游适应

    本研究报告介绍了我们在 CVPR 2024 年的 EgoVis 挑战中的解决方案，包括 Ego4D 挑战中的五个赛道和 EPIC-Kitchens 挑战中的三个赛道。我们基于视频语言双塔模型，并利用我们精心组织的自我中心视频数据，推出了一种新颖的基础模型 EgoVideo，该模型专门针对自我中心视频的独特特点进行设计，并为我们的竞赛提交提供了强大支持。通过将 EgoVideo 适应到这些多样化任务中，展示了它在不同自我中心视频分析场景中的多功能性和有效性，展示了 EgoVideo 作为自我中心基础模型的强大表示能力。

    Jun, 2024

  • 利用语义角色上下文化视频特徵进行多示例文本 - 视频检索 —— EPIC-KITCHENS-100 针对多示例检索挑战赛 2022 年的应用

    本研究介绍了我们在 2022 年 EPIC-KITCHENS-100 多实例检索挑战中的方法，首先将句子解析为动词和名词对应的语义角色，然后通过自注意力在多个嵌入空间内的三元损失函数利用语义角色语境化视频特征和文本特征，优于强基线方法的标准化折扣累积增益（nDCG），对于语义相似性更有价值，我们的提交在 nDCG 中排名第三，在 mAP 中排名第四。

    Jun, 2022

  • GPT4Ego: 发挥预训练模型潜力的零样本个人行为识别

    我们介绍了 GPT4Ego，这是一种简单但非常强大的 Vision-Language Models 框架，设计用于增强视觉和语言之间的概念和描述的精细对齐，通过在自我中心视频中利用丰富的语义和上下文细节，GPT4Ego 在三个大规模自我中心视频基准（EPIC-KITCHENS-100、EGTEA 和 CharadesEgo）上明显优于现有的 Vision-Language Models（分别提升了 33.2%、39.6% 和 31.5%）。

    Jan, 2024

  • X-MIC：基于跨模态实例条件的自我中心动作泛化

    通过提出的简单而有效的跨模态适应框架 X-MIC，我们在图像和第三人称视频分类中将视觉语言模型（VLMs）成功进行零样本识别的研究成果进一步应用到自视角视频，通过学习在共享嵌入空间中在视频适配器的帮助下，将文本嵌入与每个自视角视频对齐，最终实现了文本嵌入与自视角视频之间的增强对齐，显著提升了跨数据集的泛化能力。

    Mar, 2024

  • EgoNCE++：以自我为中心的视觉 - 语言模型真正理解手 - 物互动吗？

    通过提出一个名为 EgoHOIBench 的开放词汇基准测试，揭示了当前以对象为主而非时态动态的方法在精细概念上表现不佳，引入了一种新颖的针对 EgoHOI 的不对称对比目标 EgoNCE++，并改进了文本监督和视频聚合策略，有效地提高了开放词汇的 HOI 识别和动作识别任务的性能。

    May, 2024

  • EPIC-KITCHENS-100 多例检索挑战 2024 的对称多相似性损失

    我们在 CVPR 2024 的 EPIC-KITCHENS-100 多实例检索挑战中提出了一种新的损失函数 —— 对称多相似性损失，通过与技巧和集成学习相结合，模型在公共排行榜上获得了 63.76% 平均 mAP 和 74.25% 平均 nDCG 的表现，展示了方法的有效性。

    Jun, 2024

  • AlanaVLM：一种用于视角视频理解的多模态具身 AI 基础模型

    通过三个主要贡献，我们提出了能够与人类高效协作的 AI 个人助手的机器人或穿戴设备部署需要体现理解。为了填补当前视觉 - 语言模型在第三人视角视频上的研究的空白，我们引入了以自我中心感知经验为特定的视角视频字幕和问题回答任务训练视觉 - 语言模型的自我中心视频理解数据集（EVUD）。然后，我们提出了通过 EVUD 上的参数高效方法训练的 7B 参数的 AlanaVLM。最后，我们评估了 AlanaVLM 在 OpenEQA 上的能力，即一个对于具有挑战性的实体视频问题回答的基准测试。我们的模型达到了最先进的性能，超过了包括使用 GPT-4 作为规划者的强 Socratic 模型在内的开源模型 3.6%。此外，我们超越了 Claude 3 和 Gemini Pro Vision 1.0，与 Gemini Pro 1.5 和 GPT-4V 相比展示了竞争性的结果，甚至在空间推理上超过了后者。这项研究为构建能够在机器人或穿戴设备中部署的高效视觉 - 语言模型铺平了道路，利用体现理解的视频理解，无缝地与人类协作进行日常任务，为下一代具有体现 AI 特性的技术做出贡献。

    Jun, 2024

  • 用于自拍视频中视觉语言模型的高效上下文学习

    通过对闭环视频的上下文学习方法的改进，我们提出了一种高效的闭环视频模型训练方法（EILEV），无需大规模的数据集，能够有效地学习闭环视频的上下文信息，提高模型在闭环视频任务上的性能。

    Nov, 2023