运用动作线索进行组合提示调整，用于开放词汇视频关系检测

ICLRFeb, 2023

运用动作线索进行组合提示调整，用于开放词汇视频关系检测

Compositional Prompt Tuning with Motion Cues for Open-vocabulary Video Relation Detection

Kaifeng Gao, Long Chen, Hanwang Zhang, Jun Xiao, Qianru Sun

TL;DR本论文提出了使用运动线索的组合提示调优方法，名为 RePro，用于开放式词汇视频视觉关系检测的组合式预测。采用多模式设计的提示调优思想，RePro 在两个基准测试中表现出新的最先进性能，并进一步证明了所提出的方法的有效性。

Abstract

Prompt tuning with large-scale pretrained vision-language models empowers open-vocabulary predictions trained on limited base categories, e.g., object classification and detection. In this paper, we propose compositional prompt tuning with motion cues: an extended prompt tuning paradig

compositional prompt tuning motion cues open-vocabulary video visual relation detection repro state-of-the-art performance

发现论文，激发创造

基于大型语言模型的复合视觉线索进行零样本视觉关系检测

通过使用 RECODE 方法，利用预训练图像 - 语言模型，我们能够解决零样本可视关系检测中存在的问题，提高了关系检测的准确性和可解释性。

May, 2023

VoP: 跨模态检索的文本 - 视频协同提示调整

本文提出 VoP 框架，结合视频和文本提示来提高文本 - 视频检索任务的效率和性能，相比使用 full fine-tuning 更加高效，在 5 个文本 - 视频检索基准上平均能够获得 1.4% 的 R@1 增益，并且仅需要 6 倍于 full fine-tuning 的可训练参数

Nov, 2022

使用视觉语言模型学习开放词汇物体检测提示

本文提出一种名为 DetPro 的新方法，以学习基于预先训练的视觉 - 语言模型的连续提示表示，用于开放词汇物体检测。与以前的分类为导向的方法不同，DetPro 具有两个亮点：1）背景解释方案，包括图像背景中的提议进入提示训练；2）上下文分级方案，用于分离定制提示训练中的图像前景中的建议。通过将 DetPro 与状态 - of-the-art 的开放世界对象检测器 ViLD 组装在一起，并在 LVIS 以及 Pascal VOC，COCO，Objects365 数据集上进行实验，实验结果表明，我们的 DetPro 在所有设置中都优于基线 ViLD，例如在 LVIS 的新颖类上提高了 3.4 APbox 和 3.0 APmask。

Mar, 2022

关系分类的生成式提示调制

本文提出了一种新的生成式提示调整方法，将关系分类重新构造为一种填充问题，旨在解决当前提示方法的局限性，并在推理期间设计实体导向的解码和判别关系评分以有效地生成和对齐关系，并在完全监督的设置和低资源设置下展示了我们方法的有效性。

Oct, 2022

多视角解耦学习改进低资源基于提示的关系表示

在低资源情境下，通过多视角关系表示的基于提示的方法（MVRE）能够有效提高关系抽取任务的性能，并在三个基准数据集上达到了最先进的低资源表现。

Dec, 2023

面向视觉 - 语言模型的分布感知提示调整

通过学习大规模数据的知识，预训练的视觉 - 语言模型（VLMs）在各种下游任务中表现出色。本文提出了分布感知的提示微调（DAPT），通过对齐两种模态之间的特征空间，并对每种模态的嵌入进行良好排列，显著改善了模型的泛化能力。

Sep, 2023

用于任务组合的提示代数

本文探讨使用独立学习的提示符是否可以通过提示代数，组合不同任务的模型。我们考虑使用提示调整的视觉语言模型 (VLM) 作为我们的基本分类器，形式化地定义提示代数的概念，提出了约束提示调整来改善复合分类器的性能。我们证明了我们方法的有效性对象分类和属性分类数据集，我们的复合模型平均准确度与最佳基本模型相差不到 2.5％，在 UTZappos 上，平均提高了 8.45％分类准确率。

Jun, 2023

PromptDet: 利用未校准的图像实现开放词汇检测

本文提出了一种可扩展的对象检测流程，使用零手动标注扩展到新颖 / 不可见类别，该过程包含开放词汇表的对象检测器、区域提示学习、自我训练等四个部分，并通过对挑战性数据集的广泛实验表明了其优于现有方法。

Mar, 2022

GroPrompt：用于参考视频对象分割的高效基于上下文提示和适应性

该研究提出了一种基于 Grounded Prompting (GroPrompt) 框架的高效适应基础分割模型来解决仅通过弱监督信息进行 Referring Video Object Segmentation (RVOS) 的问题，并提出了 Text-Aware Prompt Contrastive Learning (TAP-CL) 方法来增强位置提示和指代句子之间的关联。实验证明，该 GroPrompt 框架在标准 RVOS 基准测试中表现出竞争力，仅需边界框的弱监督信息即可。

Jun, 2024

改进提示调整中的文本语义是否可以提高 VLM 的泛化能力？

通过利用来自大型语言模型（LLM）的类别描述，我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法，以构建更加可泛化的提示，并通过在 11 个基准数据集上的全面实验验证，超越了现有方法，取得了实质性的改进。

May, 2024