text-video retrieval | BriefGPT

关键词text-video retrieval

搜索结果 - 31

文本 - 视频检索的跨模态适配器
提出了一种跨模态适配器（Cross-Modal Adapter）方法，对预训练模型进行参数高效微调，可在多模态模型上减少 99.6％的参数、节省 30％的训练时间以及共享预训练模型，在 MSRVTT、MSVD、VATEX、Activity
PDF2 years ago
EMNLPLiteVL：增强空间 - 时间建模的高效视频 - 语言学习
本文提出 LiteVL 模型，结合 BLIP 图像语言模型，通过使用动态时态缩放，给图像编码器添加时间注意力模块，并提出非参数池化机制，以自适应地重新加权文本条件下的细粒度视频嵌入，取得了良好的性能，即使没有进行任何视频 - 语言预训练。
PDF2 years ago
ACL使用细粒度帧采样的对比视频语言学习
FineCo 使用 Fine-grained Contrastive Loss 对视频帧进行抽样，以更好地学习视频和语言表示，从而提高跨模态对应性和在文本 - 视频检索和视频问答数据集上取得了有竞争力的成果，尤其是在 YouCookII 上
PDF2 years ago
MM一种特征空间多模态数据增强技术用于文本 - 视频检索
本文介绍了利用文本 - 视频检索方法，并结合数据增强技术及多模态数据的方法，对大规模公共数据集 EPIC-Kitchens-100 的测试性能进行提升，灵敏的处理方式能以自然语言查询进行相关视频的查找。
PDF2 years ago
ECCVTS2-Net: 文本 - 视频检索的令牌位移与选择变换器
本文介绍了一种新颖的 Token Shift and Selection Network (TS2-Net)，其中 Token Shift 模块在时间上移动整个 Token 特征以捕捉场景的微小变化，而 Token Selection 模块
PDF2 years ago
从图像说明中学习音视频模态
该研究试图通过将图像字幕数据集中的字幕转移到视频剪辑中，从而消除了在文本 - 视频检索和文本 - 音频检索中缺乏大规模训练数据的难题，并创建了一个大规模音频 - 视频字幕数据集，使得使用这个数据集能够训练出性能优异的多模态转换模型，并在视频
PDF2 years ago
CVPR跨媒体语言 - 视频注意力 X-Pool 在文本 - 视频检索中的应用
提出了一种名为 X-Pool 的跨模态注意力模型，用于在文本和视频之间进行推理，从而提取重要的视觉线索。通过使用一个标度点乘的注意力机制，允许文本关注其最语义相似的帧，并生成基于文本的帧的注意力权重的聚合视频表示。在 MSR-VTT、MSV
PDF2 years ago
文本 - 视频检索的解耦表征学习
本文针对文本 - 视频检索中交叉模态交互问题进行了研究，并提出了一种基于分离框架的、具有序列和分级表示的模型来优化模型性能，通过在各类基准测试上验证表明，该模型取得了较好的效果
PDF2 years ago
CVPRT2VLAD：文本 - 视频检索的全局 - 局部序列对齐
本文主要设计了一种高效的全局 - 局部对齐方法，在共享的语义中心集合中，自适应地汇聚多模式视频序列和文本特征，并计算相同中心内的视频特征与文本特征之间的局部交叉模态相似性，从而实现了细致的局部比较，同时降低了交互成本。此外，还提出了一种全局
PDF3 years ago
ICCV跨模态通用蒸馏方法用于文本 - 视频检索
这篇论文探索了利用大规模预训练的多个文本编码器设计的算法，提出了一种新颖的综合蒸馏方法 TeachText，并将其拓展应用到视频检索上，在多个视频检索基准上超过了现有技术，而且在测试时不会增加计算负荷。
PDF3 years ago
AVLnet：从教育视频中学习音频 - 视觉语言表示
本文提出了一种自我监督网络 AVLnet，可从视频中直接学习共享的音频 - 视觉嵌入空间，并通过分析 AVLnet 的学习表示提出了一种三模态模型，用于学习多模态语义嵌入空间，其中包括用于音视频检索的文本标题。
PDF4 years ago