本计划提出了一种新方法，使用多模式 Transformer 进行基于自然语言查询的视频摘要和亮点检测，以匹配用户自然语言查询来检索视频中最相关和最有趣的时刻， 并在多个数据集上进行评估，如 YouTube 亮点和 TVSum。

May, 2023

本文提出了一种针对视频检索和重点检测的检测变压器模型 Query-Dependent DETR，通过显式注入文本查询的上下文信息并利用对偶输入对提高模型对查询信息的利用能力来改进现有的变压器模型，其在 QVHighlights、TVSum 和 Charades-STA 数据集上展现出优异的性能。

Mar, 2023

文章介绍了一种基于图形表示多个可观测到的人类中心模式（例如姿势和面部表情）的视频的方法，使用带有空间 - 时间图卷积的自动编码器网络来检测基于这些模式的人类活动和互动，并将这些模式的基于活动和互动的潜在结构表示映射到基于帧的高亮度分数，用于计算哪些帧需要突出显示并拼接相邻帧以产生摘录。该方法无需用户提供的偏好或特定数据集的微调，可提高与这些数据集中现有方法相比的平均精度。

Oct, 2021

本文旨在解决 Natural Language Video Localization（NLVL）的问题，通过提出 Moment Sampling DETR 算法，即基于提议的解决方案，生成候选时刻，并选择最佳匹配提议，同时使用可学习的模板进行多尺度视觉和语言编码，对数据集进行实验，提高了 MS-DETR 的准确性。

May, 2023

本文旨在评估当前 benchmark 数据集反映真实查询基于片段检索的进展的能力，指出了目前数据集存在的偏差。作者同时提出了新的实验方法，以便更好地可视化结果，并在最后展望了未来的研究方向与改进。

Sep, 2020

提出了面向视频时刻和精彩片段检测的 MH-DETR 模型，其采用简单而高效的池化操作和跨模态交互模块，以获得更好的时序内模态上下文和跨模态特征。在多个数据集上的实验结果表明，MH-DETR 优于现有的最先进方法，具有较高的准确性和鲁棒性。

Apr, 2023

通过将生成的视频描述和查询语句在第二阶段的 Transformer 编码器 - 解码器中计算语义相似度并将高相似度的视频帧转换为位置信息，我们的方法在时刻检索和重点检测任务中表现出色，超过了传统方法 Moment-DETR 的定位准确性。

Mar, 2024

本研究提出了一个名为 UMT 的统一多模态转换器的框架，能够实现时刻检索和精华视频检测的联合优化，并且能够轻松地退化为解决单个问题。实验结果表明，该方法在各种设置下都具有有效性、优越性和灵活性。

Mar, 2022

通过提出 Moment Context Network 来定位自然语言查询中的视频段，并通过构建 Distinct Describable Moments 数据集实现对局部视屏段的描述。

Aug, 2017

本文提出了一种 Hierarchical Moment Alignment Network 方法，该方法基于文本查询，可以在视频语料库中检索相关视频，并对视频中的时刻进行定位。实验结果表明该方法在三个基准测试集上实现了令人满意的性能表现。

Aug, 2020