text-video retrieval | BriefGPT

关键词text-video retrieval

搜索结果 - 31

走向全面的语言 - 视频表示：语言模型增强的 MSR-Video 到文本数据集
通过自动增强语言 - 视频数据集和多方位视频字幕生成方法，提高语言 - 视频表示能力，并通过多模态检索模型验证其有效性。
PDF15 days ago
ACL基于稀疏相关适配器的高效文本 - 视频检索
使用一种称为 RAP 的稀疏且相关的 AdaPter 模型，通过在少数参数化层上进行预训练模型的微调，以提供高效的文本视频检索。RAP 配备了两个必要特征：时间稀疏性和相关性建模。通过引入低秩调制模块和异步自注意力机制，RAP 能够在四个文
PDFa month ago
全局 - 局部语义一致学习的文本 - 视频检索
通过提出 Global-Local 语义一致性学习方法，该研究利用文本 - 视频预训练模型，实现在文本 - 视频检索中的高效性和效果提升。通过全局和局部交互模块实现粗粒度和细粒度的语义对齐，并引入一致性损失和多样性损失，达到概念对齐和生成更
PDFa month ago
SHE-Net：语法层次增强的文本 - 视频检索
本文介绍了一种名为 SHE-Net 的新型语法层次增强文本 - 视频检索方法，通过利用文本的语义和语法层次，从两个方面弥合模态差距，并在四个公共文本 - 视频检索数据集上验证了该方法的优势。
PDF2 months ago
ProTA：文本 - 视频检索的概率化令牌聚合
提出 Probabilistic Token Aggregation (ProTA) 方法来处理内容不对称的跨模态交互，通过双重关联聚合、基于令牌的概率对齐和自适应对比损失，在 MSR-VTT、LSMDC 和 DiDeMo 数据集上取得显著
PDF3 months ago
CVPR文本是 MASS: 用于文本 - 视频检索的随机嵌入建模
该研究提出了一种新的文本建模方法 T-MASS，通过将文本建模为随机嵌入，丰富了文本嵌入的语义范围，并在准确检索时利用了文本质量，从而在五个基准数据集上取得了最先进的性能。
PDF3 months ago
AAAIDGL: 文本 - 视频检索的动态全局 - 局部提示调优
我们提出了一个跨模态的动态提示调整方法，使用全局 - 局部注意机制对视频进行建模，通过仅调整 0.67％的参数，我们的方法在 MSR-VTT，VATEX，LSMDC 和 ActivityNet 数据集上优于或与完全微调方法相当。
PDF5 months ago
多模式超图网络的文本视频检索
我们提出了一种基于分块匹配的文本 - 视频检索方法，通过构建多模态超图和引入变分推断，实现在高阶语义空间中对文本和视频的复杂多元交互进行建模，进而提高检索性能。
PDF6 months ago
WAVER: 通过开放词汇知识提炼视觉语言模型实现写作风格无关的视频检索
WAVER 是一种用于处理文本 - 视频检索任务中的写作风格变化的交叉领域知识蒸馏机制，通过利用预训练的视觉语言模型中的开放词汇属性，达到从教师模型向视觉学生模型转移文本知识的目的，并在四个标准基准数据集上的实证研究中取得了最先进的表现。
PDF7 months ago
HowToCaption: 规模化促使 LLMs 转化视频注释
利用大型语言模型从自动语音识别摘要中创建与视频对齐的细致视频描述，以达到大规模教学视频数据训练文本 - 视频模型的目的。这项工作应用于 HowTo100M 数据集的副标题，创建了一个新的大规模数据集 HowToCaption，其结果不仅显著
PDF9 months ago
MM双模态注意力增强的文本 - 视频检索与三元局部对比学习
通过改进对比学习方法，引入新的技术，分别利用文本和视觉线索，从中挖掘出困难负样例，并且能够自适应地确定它们对训练损失的影响；同时，通过构建部分有序三元组样本来模拟细粒度语义相似性，以提高文本 - 视频检索的性能。
PDF9 months ago
通过因果干预方法消除文本 - 视频检索中的帧长度偏见
改进和开发新的网络架构是文本 - 视频检索的研究热点。然而，现有的方法可能存在学习和推理偏差问题，本研究首次尝试探索修剪视频剪辑的训练和测试集之间的时间偏差，并提出因果去偏方法，通过大量实验验证了该方法的有效性。
PDF10 months ago
ICCVIn-Style: 文本与未编辑视频之间的风格迁移用于文本 - 视频检索
在没有手工标注的配对数据的情况下，提出了一种使用未经整理和未配对数据进行文本 - 视频检索的新设置，该方法通过学习文本查询的样式并将其传输到未经整理的网络视频来解决这个问题。通过引入多样式对比训练程序，提高了模型在多个数据集上的泛化能力，并
PDF10 months ago
ICCVPrompt Switch: 高效的 CLIP 适应文本 - 视频检索
该研究论文介绍了一种在文本 - 视频检索中学习视频语义表示的方法，通过将一个空间 - 时间上下文模块引入图像编码器，并通过辅助视频字幕目标进行训练，以提高视频帧的语义能力。在增强后的帧表示上使用简单的时序融合策略，取得了三个基准数据集（MS
PDFa year ago
冻结图像编码器的细粒度文本 - 视频检索
提出了 CrossTVR，一个两阶段的文本视频检索架构。第一阶段利用现有的文本 - 视频检索方法进行候选选择，第二阶段提出了一个新颖的解耦视频文本交叉注意力模块，以捕捉时空维度中细粒度的多模态信息。通过在细粒度检索中采用冻结的 CLIP 模
PDFa year ago
CVPR自我中心的文本 - 视频检索挑战概述
讨论了在文本 - 视频检索中不同来源导致的偏差，特别是帧长度偏差，并提出了一种简单方法来解决这种偏差，并得到了可喜的增长，最后提出了未来研究的方向。
PDFa year ago
IJCAI利用解耦概念化和集合对齐进行文本 - 视频检索
本研究提出了一种名为 Disentangled Conceptualization and Set-to-set Alignment (DiCoSA) 的跨模态任务解决方法，可以将视觉实体与自然语言描述对齐，采用多个与语义概念相关的潜在因素
PDFa year ago
面具还原：视频文本检索的合作语义补全
本文提出一个基于语义蒙版建模的 Mask for Semantics Completion (MASCOT) 框架，通过基于注意力的视频蒙版生成高信息和低信息蒙版，利用蒙版内容与文本上下文对齐，实现了蒙版语义信息的恢复，并通过双蒙版协同学习
PDFa year ago
CVPRCap4Video: 文本 - 视频检索中辅助字幕的作用
本文提出了一种基于 zero-shot video captioning 和 cross-modal feature interaction 的 text-video retrieval 方法，即 Cap4Video，该方法通过增强视频表示
PDF2 years ago
CVPRVoP: 跨模态检索的文本 - 视频协同提示调整
本文提出 VoP 框架，结合视频和文本提示来提高文本 - 视频检索任务的效率和性能，相比使用 full fine-tuning 更加高效，在 5 个文本 - 视频检索基准上平均能够获得 1.4% 的 R@1 增益，并且仅需要 6 倍于 fu
PDF2 years ago