本研究提出了一个名为 UMT 的统一多模态转换器的框架，能够实现时刻检索和精华视频检测的联合优化，并且能够轻松地退化为解决单个问题。实验结果表明，该方法在各种设置下都具有有效性、优越性和灵活性。

Mar, 2022

本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

Jul, 2020

本篇研究提出了基于问题的视频亮点（QVHIGHLIGHTS）数据集，用于开发和评估系统以检测有关时刻以及突出亮点，同时使用 Moment-DETR，一个转换器编码器 - 解码器模型，将时刻检索视为直接预测问题，并且在利用 ASR 注释和进行弱监督预训练时表现出优异的性能。

Jul, 2021

通过将生成的视频描述和查询语句在第二阶段的 Transformer 编码器 - 解码器中计算语义相似度并将高相似度的视频帧转换为位置信息，我们的方法在时刻检索和重点检测任务中表现出色，超过了传统方法 Moment-DETR 的定位准确性。

Mar, 2024

本文旨在评估当前 benchmark 数据集反映真实查询基于片段检索的进展的能力，指出了目前数据集存在的偏差。作者同时提出了新的实验方法，以便更好地可视化结果，并在最后展望了未来的研究方向与改进。

Sep, 2020

本文探讨如何实现基于文本描述的运动检索任务，利用姿态估计、文本编码和基于分割空时注意力的 Motion Transformer 模型，对大量 3D 骨骼序列进行内容检索，实现了相应的定量度量评估。

May, 2023

该论文提出了一种新型的 Transformer 模型，将文本和视频显式分离，通过注意力机制了解三种角色的内部和内部角色之间的相关性，以在不同级别上寻找识别特征，初步结果表明，在所有的指标中，我们的方法都超过了当前最先进的方 法，在两个指标上也超过了两种最先进的方法。

Jun, 2022

该研究利用神经网络诱导的文本视觉语义嵌入空间，将查询相关汇总作为视频帧子集选择问题进行提出，该方法在多个方面优于先前的技术，并引入具有多样性和查询特定相关性标签的新数据集进行模型训练和测试。

May, 2017

本文提出了一种名为 JSFusion（联合序列融合）的方法，可以测量多模式序列数据（例如视频剪辑和语言句子）之间的语义相似性，并通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似度得分，该模型适用于多模式检索和视频 QA 等任务，并在多个数据集上超过了现有的许多最先进的方法。

Aug, 2018

本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

Sep, 2020