video moment retrieval | BriefGPT

关键词video moment retrieval

搜索结果 - 31

多模态大型语言模型对视频片段检索的惊人有效性
利用图像 - 文本预训练的多模态大语言模型（MLLMs）进行时刻检索，获得了令人惊讶的有效性，并且在时刻检索和时序动作定位任务上实现了最新的性能。
PDF6 days ago
MLLM 作为视频叙述者：减轻视频片段检索中的模态不平衡
利用多模态大型语言模型 (MLLM) 的视觉文本理解能力，本研究以 MLLM 作为视频的叙述者，生成视频的文本描述，从而减少模态不平衡并提高时间定位的准确性。通过获取视频每个时间戳的文本叙述并构建带有时间信息的结构化文本段落，与视觉内容进行
PDF7 days ago
跨多领域标签的混合学习视频时刻检索
用混合学习的方法，从全监督的源领域迁移到弱标记的目标领域，提高视频时刻检索模型的学习能力。通过引入多支视觉文本对齐模型 (EVA)，实现跨模态匹配信息共享和多模态特征对齐，优化领域不变的视觉和文本特征，以及具有判别性的联合视频和文本表示。实
PDFa month ago
基于大型语言模型的上下文增强视频片段检索
通过引入大型语言模型（LLMs）的广泛知识，我们提出了一种大型语言模型引导的时刻检索（LMR）方法，以改善视频上下文表示和跨模态对齐，从而实现准确的目标时刻定位。
PDFa month ago
利用全局时间语义知识的视频句子定位
利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。
PDF2 months ago
任务驱动的探索：解耦和任务间反馈用于联合时刻检索和亮点检测
提出了一个基于任务驱动的自上而下框架 TaskWeave，用于联合视频片段检索和精彩时刻检测，通过任务解耦单元、任务特定共享表示以及任务之间的反馈机制实现了任务间的协同。实验验证了该框架的有效性和灵活性。
PDF3 months ago
未见领域视频时刻检索的生成式视频扩散
本研究通过利用目标领域的句子（文本提示）而无需访问其视频，探索生成式视频扩散来编辑源视频，实现未知领域的视频时刻检索（VMR）。通过两个问题的解决，即产生具有微妙差异的不同时刻的高质量模拟视频和选择与现有源训练视频互补的模拟视频，优化未知领
PDF5 months ago
AAAITR-DETR: 具有任务互逆性的 Transformer 模型，用于联合出现时刻检索和摘要提取
基于自然语言查询的视频时刻检索（MR）和精彩片段检测（HD）是两个高度相关的任务，目标是获取视频中的相关时刻和每个视频片段的精彩得分。本文提出了一种基于 DETR 的任务互补变换器（TR-DETR），专注于探索 MR 和 HD 之间的内在互
PDF6 months ago
AAAI迈向平衡对齐：视频时刻检索的模态增强语义建模
通过提升视频模态和文本模态的特征，Modal-Enhanced Semantic Modeling（MESM）框架在视频短片检索中实现了更平衡的对齐，填补了形式上不平衡的模态差距。实验证明该框架在多个基准测试上取得了显著的泛化能力和最佳效果
PDF6 months ago
跨模态对比学习与非对称协同注意网络在视频时刻检索中的应用
视频时刻检索是一项具有挑战性的任务，需要视频和文本模态之间的精细交互。我们评估了一个最近提出的解决方案，在视频 grounding 任务中引入了不对称协同注意力网络，并在两个模态中加入了动量对比损失，其整合效果在 TACoS 数据集上表现更
PDF7 months ago
缩小差距：一个统一的视频理解框架用于时刻检索和重点检测
提出了一种统一视频理解框架 (UVCOM)，通过深入挖掘内在的本质特点，联合解决视频片段检索和重点片段检测问题。在多粒度的内部和跨模态的进步集成中，通过多方面对比学习，实现了对视频进行全面理解，成功地提高了效果。
PDF7 months ago
ICCVSCANet：面向弱监督视频时刻检索的场景复杂性感知网络
视频时刻检索旨在定位与给定语言查询相对应的视频时刻，本文提出了一种名为 Scene Complexity Aware Network (SCANet) 的检索系统，它能够衡量每个视频中多个场景的 ' 场景复杂性 '，并生成适应每个视频场景复
PDF9 months ago
来自冻结视觉 - 语言模型的零样本视频时刻检索
我们提出了一种零样本方法，可以从任意的视觉语言模型中获得可泛化的视觉文字先验，并利用条件特征细化模块和自下而上的提案生成策略来改善视频片段与文本的对齐，从而在视频片段检索中实现显著的性能优势。
PDF10 months ago
语言条件的变点检测用于识别机器人领域中的子任务
利用语言指令识别机器人轨迹中的子任务，通过语言条件变点检测方法从长轨迹中找出与指令相对应的子轨迹片段，并通过实验证明了该方法在准确识别子任务方面的优越性。
PDF10 months ago
DiffusionVMR：视频时刻检索的扩散模型
该研究提出了一种名为 DiffusionVMR 的提议无关框架，通过将视频时刻检索重新构想为去噪生成过程，直接从噪声中采样随机时段作为候选，并引入去噪学习以确定目标时刻。实验证明 DiffusionVMR 相比现有方法具有更高的效果。
PDF10 months ago
MomentDiff：从随机到真实的生成式视频时刻检索
视频时刻检索通过一个名为 MomentDiff 的生成性扩散框架，实现了对未修剪视频中与给定语言描述相对应的特定时间段的高效广义解决方案。
PDFa year ago
克服视觉和文本之间的弱对齐性以实现视频时刻检索
提出一种名为 BM-DETR 的背景感知时刻检测变压器模型，通过利用负查询和周围的背景来考虑相关性并提高时刻灵敏度，从而提高视频时刻检索（VMR）的效果和泛化能力。
PDFa year ago
利用点级监督加速视频瞬间检索
本文提出了一种名为 Cheaper and Faster Moment Retrieval（CFMR）的新方法，其基于点级别监督，并设计了一种基于概念的多模式对齐机制，旨在提高 VMR 的检索效率。此方法可有效解决现有 VMR 方法所存在的
PDFa year ago
CVPR基于查询的视频表示方法：用于时刻检索和精华片段检测
本文提出了一种针对视频检索和重点检测的检测变压器模型 Query-Dependent DETR，通过显式注入文本查询的上下文信息并利用对偶输入对提高模型对查询信息的利用能力来改进现有的变压器模型，其在 QVHighlights、TVSum
PDFa year ago
CVPR通向可泛化的视频片段检索：通过将视觉动态注入到图像 - 文本预训练中实现
研究探究了大规模图文数据中的多模态相关性，并提出了一种通用方法 Visual-Dynamic Injection（VDI）来增强模型对视频时刻的理解及视觉动态信息的提取，从而更准确地进行视频 - 文本对齐，该方法在现有 VMR 方法的基础上
PDFa year ago