Jul, 2022

ReLER@ZJU-Alibaba 参加 Ego4D 自然语言查询竞赛 2022

PDF
TL;DR使用多尺度跨模态 Transformer 和视频帧级对比损失来解决 Ego4D 自然语言查询挑战问题，该方法在排行榜上排名第一。
reler@zju-alibabaego4dnatural language queriescross-modal transformervideo frame-level contrastive loss
发现论文，激发创造
  • 2023 年 GroundNLQ@Ego4D 自然语言查询挑战赛

    本文介绍了一种基于两阶段预训练策略及新颖的 GroundNLQ 模型的视频摘要方法。在 Ego4D 自然语言查询挑战方面获得优异的表现，超过其他团队。

    Jun, 2023

  • ObjectNLQ @ Ego4D Episodic Memory Challenge 2024

    本文介绍了我们在 CVPR 2024 的 Ego4D Episodic Memory Benchmark 中，对于自然语言查询和目标步骤的研究领域的方法。我们的方法不仅处理了视频的时间信息，还在帧内空间上识别了细粒度对象，通过引入 ObjectNLQ 来增强视频表示，提高了定位的准确性。

    Jun, 2024

  • 探索基于 Anchor 的自我 4D 自然语言查询检测

    本文提供 CVPR 2022 中 Ego4D 自然语言查询挑战的技术报告，针对当前自然语言查询任务使用第三人称视角数据集，未涉及目前使用第一人称视角数据集（例如 Ego4D）面临的较小时间跨度和更复杂的视频理解问题，论文提出解决这些问题的方案。

    Aug, 2022

  • NaQ: 利用叙述作为查询来监督情节记忆

    本研究提出使用基于自然语言查询的 Narrations-as-Queries（NaQ）数据增强策略，用于训练视频查询定位模型，并通过在 Ego4D 基准测试中进行验证表明，该方法带来了突出的 NLQ 结果，甚至达到了其他竞赛获胜者所未能达到的最佳结果。

    Jan, 2023

  • Ego4D 情景记忆挑战 2023 的行动敏感度学习

    本报告介绍了 ReLER 在 Ego4D 情节记忆基准测试中提交的两个轨道，包括自然语言查询和时刻查询。我们的解决方案继承了我们提出的行动敏感性学习框架（ASL），以更好地捕捉帧的差异信息。此外，我们整合了一系列更强大的视频特征和融合策略。我们的方法在时刻查询挑战赛中获得了 29.34 的平均 mAP，排名第 1，在自然语言查询挑战中获得了 19.79 的平均 R1，排名第 2。我们的代码将发布。

    Jun, 2023

  • 促使大型语言模型改写查询以定位时刻

    这篇文章讨论了如何利用大型语言模型来改进时刻定位的自然语言查询，使其更适合定位模型处理复杂的未剪辑视频内容。

    Jun, 2023

  • 通过自然语言查询进行联合时刻检索和高亮检测

    本计划提出了一种新方法，使用多模式 Transformer 进行基于自然语言查询的视频摘要和亮点检测，以匹配用户自然语言查询来检索视频中最相关和最有趣的时刻， 并在多个数据集上进行评估，如 YouTube 亮点和 TVSum。

    May, 2023

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • 使用自然语言描述实现提取式视频剪辑定位

    该文章提出了一种新的、能够利用文本和视频间的交互，预测起始和结束帧的提取方法，以避免检索和重新排序多个候选段落。使用递归网络将两种模态编码成共同表示，该方法在多项实验和去除分析中表现显著，比现有技术提升了性能。

    Apr, 2019

  • LifelongMemory: 利用 LLM 为参照视频中的问题提供答案

    通过使用多个预训练模型从广泛的自我中心视频内容中回答查询，本研究引入了 LifelongMemory，这是一种利用大型语言模型和视觉语言模型的新框架，以解决在复杂的视觉语言任务中捕捉长距离时间依赖关系的问题。

    Dec, 2023