video temporal grounding | BriefGPT

关键词video temporal grounding

搜索结果 - 7

VTG-LLM：将时间戳知识整合到视频 LLMs 中以增强视频时间定位
基于 VTG 任务，本研究首先介绍了 VTG-IT-120K 这一高质量的综合指导调整数据集，其涵盖了时刻检索、密集视频字幕生成、视频摘要和视频亮点检测等 VTG 任务；其次，我们提出了一个特别设计的用于 VTG 任务的视频 LLM 模型，
PDFa month ago
$R^2$-Tuning：高效的图像到视频迁移学习用于视频时间绑定
在本文中，我们提出了一种轻量级的 $R^2$-Tuning 模型，通过逆向递归调整的方式，利用 CLIP 模型的各层次信息进行精细的时空建模，以实现视频时序定位的最先进性能。
PDF3 months ago
VTG-GPT: 使用 GPT 的免调整零样本视频时态定位
视频时间定位（VTG）目标是根据语言查询从未经修剪的视频中定位特定的时间段。我们提出了 VTG-GPT，这是一种基于 GPT 的零训练或微调的方法，以减少人为偏见和冗余信息，并实现与有监督方法相媲美的性能。
PDF4 months ago
视频表示学习中基于相关性引导的查询依赖校准用于时间标定
设计了一种基于相关性引导的检测变换器（CG-DETR），通过自适应的交叉关注层、推断视频剪辑和单词之间的细粒度相关性以及视频剪辑的文本参与度，对视频和文本查询之间的模态差距进行强大的跨模态交互，提高了瞬间检索和精彩时刻检测的性能。
PDF8 months ago
ICCVUniVTG：面向统一的视频 - 语言时序定位
通过统一视频时序定位（Video Temporal Grounding）的各种标签和任务，提出的 UniVTG 框架在大规模不同标签下能够解锁时序定位预训练，并获得更强的定位能力，例如零样本时序定位。对三项任务（时间区间提取、重要片段检测和
PDFa year ago
CONE：一种针对长视频时间对齐的高效粗到细对齐框架
本文提出了一种名为 CONE 的窗口层级的粗细粒度多模态对齐框架，该框架通过使用对比学习进行识别候选窗口和排名候选时刻，从而提高视频时序定位的精确度和效率，在两个大规模视频时序定位基准测试中均取得了业界最佳成果。
PDF2 years ago
MM基于常识的快速视频时间对齐细节文本对齐学习
本文提出一种基于常识感知的跨模态对齐框架，通过从语料库中提取结构化语义信息，设计跨模态交互模块获得桥接式视觉和文本特征，并将其整合到共同的空间中进行快速视频时间定位。在两个具有挑战性的数据集上，证明该方法能够以高速运行，且表现优于现有的方法
PDF2 years ago