Mar, 2023

使用 CLIP 引导的视觉文本注意力进行视频问答

PDF
TL;DR本文提出了一种利用 Contrastive Language-Image Pre-training（CLIP）作为跨模态学习指导的 Visual-Text Attention 机制来应用于视频问答任务。在特定领域中提取视频和文本特征后，利用 CLIP 对一组通用知识域上视觉 - 文本特征进行特征提取，并提出了交叉域学习来提取目标域和通用域间的视觉和语言特征之间的注意力信息，将特征集成用于迁移学习，结果表明这种方法优于现有的最先进方法。
发现论文，激发创造
  • VT-CLIP: 使用视觉引导文本增强视觉语言模型

    提出一种名为 VT-CLIP 的方法来增强 CLIP 模型，它通过可视化引导文本，使文本的特征更适应图片，在多分类任务中表现出很高的效果。

    Dec, 2021

  • CLIP2Video: 通过 Image CLIP 掌握视频文本检索

    CLIP2Video 网络通过将图像语言预训练模型转移到视频文本检索，采用端到端方式，区别于领先的视频和语言学习方法的多模态交互，我们利用预训练的图像语言模型，进一步简化为两个具体阶段的框架，使其能够在相对较少的数据集上进行训练，并通过 Temporal Difference Block 和 Temporal Alignment Block 来提升多模态相关性，我们在 MSR-VTT，MSVD 和 VATEX 等主要文本到视频和视频到文本检索基准上实现了最新的检索准确性记录。

    Jun, 2021

  • CLIP 在医学领域是否像在通用领域一样有益于视觉问答？

    本研究探究了 CLIP 在医学领域中应用的效果，并试图通过针对性的 PubMedCLIP 模型，与基于 MAML 模型和 CLIP 模型的医学视觉问答进行比较，证明通过语言监督的视觉表示学习能够显著提升 MedVQA 中的表现。

    Dec, 2021

  • Prompt Switch: 高效的 CLIP 适应文本 - 视频检索

    该研究论文介绍了一种在文本 - 视频检索中学习视频语义表示的方法，通过将一个空间 - 时间上下文模块引入图像编码器，并通过辅助视频字幕目标进行训练，以提高视频帧的语义能力。在增强后的帧表示上使用简单的时序融合策略，取得了三个基准数据集（MSR-VTT，MSVD 和 LSMDC）的最先进性能。

    Aug, 2023

  • Multi-CLIP：针对 3D 场景中问答任务的对比视觉语言预训练

    本研究提出一种名为 MULTI-CLIP 的 3D 预训练视觉语言模型，可有效提高现有 3D 视觉问答任务的表现并构建出具有良好结构的 3D 场景特征空间。

    Jun, 2023

  • 基于 CLIP 的 TASS: 面向目标的单流网络用于视听问答

    本文提出了一种新的基于 CLIP 的目标感知单流网络 (TASS) 用于音视频问答，通过模型预训练的图像文本匹配知识实现视听匹配特性，包括目标感知的空间定位模块 (TSG+) 和单流联合时间定位模块 (JTG)，通过交叉模态同步损失 (CMS) 延伸了图像文本知识到音频文本匹配，实验证明了该方法在音视频问答上优于现有的最先进方法。

    May, 2024

  • 从特征和样本的视角重新思考视频问答中的多模态对齐

    本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在 NExT-QA 基准测试上表现出很高的性能。

    Apr, 2022

  • CLIP-TD：针对视觉语言任务的 CLIP 目标蒸馏

    本研究提出了一项名为 CLIP-TD 的方法，对视觉 - 语言任务进行有针对性的蒸馏，以适应每个实例自适应选择的标记。 经过实验证明，我们的 CLIP-TD 在视觉常识推理，视觉蕴涵推理和视觉问答的低量数据和领域迁移条件下获得了显着的增益，并在这些任务上取得了最先进的性能。

    Jan, 2022

  • TeachCLIP: 高效文本到视频检索的多粒度教学

    通过多层次教学，利用具有更高性能但计算负荷较大的模型，如 X-CLIP、TS2-Net 和 X-Pool，以及引入注意力框架特征聚合（AFA）块来提高学生网络的学习能力，以实现高效的文本到视频检索。实验结果表明所提出的方法是可行的。

    Aug, 2023

  • CLIP4Clip: CLIP 耦合视频检索的实证研究

    本研究提出了 CLIP4Clip 模型，将 CLIP 模型的知识以端到端的方式迁移到视频 - 文本检索上，从多个角度对其表现进行实验证明其在各种数据集上比其他模型表现更好，同时释放其代码供学术界使用。

    Apr, 2021