Jun, 2024

CARLOR @ Ego4D Step Grounding Challenge: 基于贝叶斯的时序先验用于测试时间细化

PDF
TL;DR通过引入贝叶斯 - VSLNet，本技术报告解决了在大段未修剪的自我中心视频中根据自然语言描述定位活动的时间边界的挑战。我们的模型通过在推理过程中引入新颖的贝叶斯时间顺序先验，显著改进了传统模型，提高了时刻预测的准确性。我们的评估表明，在 Ego4D Goal-Step 数据集上具有卓越的性能，测试集中 Recall Top-1 为 35.18（在 0.3 的 IoU 下）和 20.48（在 0.5 的 IoU 下），达到了最先进的结果。
发现论文，激发创造
  • 从叙述性自我视频中学习时态句子配准

    通过学习和合并剪辑，提高在长时录像中通过时间定位句子的准确性。

    Oct, 2023

  • 2023 年 GroundNLQ@Ego4D 自然语言查询挑战赛

    本文介绍了一种基于两阶段预训练策略及新颖的 GroundNLQ 模型的视频摘要方法。在 Ego4D 自然语言查询挑战方面获得优异的表现，超过其他团队。

    Jun, 2023

  • EVOQUER: 通过视频相关的反向查询生成增强时间定位

    本文提出了一种时间定位框架 EVOQUER，它结合了文本视频定位模型和视频辅助查询生成网络，从而实现了查询 - 视频结合的闭环学习，并在两种流行数据集上进行实验，显示出较好的性能提升和错误分析方法。

    Sep, 2021

  • 基于贝叶斯决策的二维视觉查询定位

    本文介绍了我们在 EGO4D 2023 视觉查询二维定位挑战赛中采用的方法。我们使用 Transformer 在更高维度上确定相似性并结合来自 Siamese Head 的低维度相似性生成后验概率，最终确定了视觉裁剪和所建议边界框之间的相似性。

    May, 2023

  • 探索基于 Anchor 的自我 4D 自然语言查询检测

    本文提供 CVPR 2022 中 Ego4D 自然语言查询挑战的技术报告，针对当前自然语言查询任务使用第三人称视角数据集，未涉及目前使用第一人称视角数据集（例如 Ego4D）面临的较小时间跨度和更复杂的视频理解问题，论文提出解决这些问题的方案。

    Aug, 2022

  • 阅读，观看和移动：用强化学习将自然语言描述与视频时序地联系起来

    本文通过强化学习和多任务学习建立一个分阶段调整临时定位边界的代理模型，在考虑附加边界信息的训练过程中稳步提高绩效，达到了 ActivityNet'18 DenseCaption 和 Charades-STA 数据集上的最优性能。

    Jan, 2019

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • Video-GroundingDINO: 面向开放词汇的时空视频定位

    该研究论文介绍了一种开放式语义和语境视频定位模型，通过使用预训练的空间定位模型，克服了固定词汇和有限训练数据的限制，取得了在闭合式和开放式语境下的卓越性能。

    Dec, 2023

  • 弱监督时间轴自然语言地点在未剪辑视频中的强化学习

    该研究提出了一个基于强化学习的边界自适应精细化（Boundary Adaptive Refinement，BAR）框架，用于加强视频中自然语言的时间地位确定性，无需精细的标注，并证明其性能优于现有的弱监督和一些有竞争力的全监督方法。

    Sep, 2020

  • 视频中的时间句子定位：数据集和度量的深入探讨

    本文主要研究 Temporal Sentence Grounding in Videos，在现有的评估协议中，重新组织两个广泛使用的 TSGV 基准及引入新的评估指标 dR @ n，IoU @ m 来校准基本的 IoU 分数，进一步监控 TSGV 的进展。

    Jan, 2021