Apr, 2024

任务驱动的探索：解耦和任务间反馈用于联合时刻检索和亮点检测

PDF
TL;DR提出了一个基于任务驱动的自上而下框架 TaskWeave，用于联合视频片段检索和精彩时刻检测，通过任务解耦单元、任务特定共享表示以及任务之间的反馈机制实现了任务间的协同。实验验证了该框架的有效性和灵活性。
video moment retrievalhighlight detectiontask-driven top-down frameworktask-decoupled unitinter-task feedback mechanism
发现论文，激发创造
  • 通过自然语言查询进行联合时刻检索和高亮检测

    本计划提出了一种新方法，使用多模式 Transformer 进行基于自然语言查询的视频摘要和亮点检测，以匹配用户自然语言查询来检索视频中最相关和最有趣的时刻， 并在多个数据集上进行评估，如 YouTube 亮点和 TVSum。

    May, 2023

  • UMT: 统一多模态 Transformers 用于联合视频片段检索和亮点检测

    本研究提出了一个名为 UMT 的统一多模态转换器的框架，能够实现时刻检索和精华视频检测的联合优化，并且能够轻松地退化为解决单个问题。实验结果表明，该方法在各种设置下都具有有效性、优越性和灵活性。

    Mar, 2022

  • 缩小差距：一个统一的视频理解框架用于时刻检索和重点检测

    提出了一种统一视频理解框架 (UVCOM)，通过深入挖掘内在的本质特点，联合解决视频片段检索和重点片段检测问题。在多粒度的内部和跨模态的进步集成中，通过多方面对比学习，实现了对视频进行全面理解，成功地提高了效果。

    Nov, 2023

  • TR-DETR: 具有任务互逆性的 Transformer 模型，用于联合出现时刻检索和摘要提取

    基于自然语言查询的视频时刻检索（MR）和精彩片段检测（HD）是两个高度相关的任务，目标是获取视频中的相关时刻和每个视频片段的精彩得分。本文提出了一种基于 DETR 的任务互补变换器（TR-DETR），专注于探索 MR 和 HD 之间的内在互补性。实验表明，TR-DETR 优于现有的最先进方法。

    Jan, 2024

  • 基于语义补全网络的弱监督视频时刻检索

    本文提出了一种新的弱监督视频瞬间检索框架，包括提议生成和语义完成等组件，并在 ActivityCaptions 和 Charades-STA 数据集上进行了实验证明其有效性。

    Nov, 2019

  • 联合多模态图像融合及其它应用的二层动态学习

    本文描述了一种层次双任务驱动的深度模型，用于多模态场景感知，包括图像融合和场景理解。该模型不仅能够产生视觉良好的融合结果，而且比现有技术实现了显著的检测和分割优势。

    May, 2023

  • 分层视频时刻检索和分步标题

    本研究介绍了 HiREST 数据集和基准测试，涵盖了从以下视频语料库中检索单元（瞬间）并分层检索高亮步骤的任务。HiREST 包括来自教学视频数据集的 3.4K 个文本视频对，其中 1.1K 个视频具有与文本查询相关的瞬间跨度注释，并将每个瞬间的重点说明步骤与时间戳（总计 8.6K 个步骤说明）的分解。本研究还为我们的新基准测试提供了一个起点任务特定的和端到端的联合基线模型。虽然基线模型显示出了一些有希望的结果，但仍然存在大量改进空间。

    Mar, 2023

  • 基于查询的视频时刻检索中的隐含挑战揭示

    本文旨在评估当前 benchmark 数据集反映真实查询基于片段检索的进展的能力，指出了目前数据集存在的偏差。作者同时提出了新的实验方法，以便更好地可视化结果，并在最后展望了未来的研究方向与改进。

    Sep, 2020

  • 视频任务百项全能：在自动驾驶中统一图像和视频任务

    通过设计统一模型 VTDNet 和挑战集 Video Task Decathlon (VTD)，并且采用 Curriculum training, Pseudo-labeling 和 Fine-tuning (CPF) 训练方案，本研究在自动驾驶中的图像和视频识别任务取得了突破性的进展，显著提高了性能并减少了计算量。

    Sep, 2023

  • 密集型多任务学习的跨任务注意机制

    该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。

    Jun, 2022