vision-language pretrained models | BriefGPT

关键词vision-language pretrained models

搜索结果 - 5

基于 CLIP 的 TASS: 面向目标的单流网络用于视听问答
本文提出了一种新的基于 CLIP 的目标感知单流网络 (TASS) 用于音视频问答，通过模型预训练的图像文本匹配知识实现视听匹配特性，包括目标感知的空间定位模块 (TSG+) 和单流联合时间定位模块 (JTG)，通过交叉模态同步损失 (CM
PDF2 months ago
CVPR公平去重：在语义数据集去重中检测和减轻视觉语言公平性差异
通过数据集去重技术，以及针对包含社会偏见的图像 - 描述数据集的剪枝技术，本研究评估去重对训练模型中偏见的影响，并提出了一种易于实施的修改后的 SemDeDup 算法，以减少这些负面影响，实验证明我们提出的 FairDeDup 算法在 Fa
PDF2 months ago
AAAI使提示可调整：基于贝叶斯建模的视觉 - 语言提示学习与数据相关先验
利用贝叶斯框架中的 Prompt 学习方法，通过建模数据相关先验，减轻少样本学习中的过拟合问题，提高提示信息对未知样例的适应性，并展示相对现有方法在基准数据集上显著性能改进的统计结果。
PDF6 months ago
图像文字表示的多模态信息瓶颈归因的视觉解释
通过多模态信息瓶颈（M2IB）方法，本文提出了一种改进视觉 - 语言预训练模型的可解释性的方法，学习将相关视觉和文本特征保留并压缩无关信息的潜在表示。在安全关键领域如医疗保健中应用 M2IB，展示了其在视觉 - 语言预训练模型的归因分析上提
PDF6 months ago
EMNLPAPoLLo：统一的视觉语言模型适配器与提示学习
APoLLo 是一种统一的多模态方法，结合了 Adapter 和 Prompt 学习用于增强 Vision-Language 模型在 few-shot 环境下的泛化能力，通过引入可训练的交叉注意力适配器层和视觉与语言编码器来加强两种模态之间
PDF7 months ago