vision-language | BriefGPT - AI 论文速递

关键词vision-language

搜索结果 - 49

视觉语言预训练数据压缩
该论文提出一种名为 TL;DR 的视觉语言学习算法，它利用基于编码器 - 解码器的编码器来选择代表性样本，并生成新的标题，旨在将现有的大规模 VLP 数据压缩为小高质量数据集。实验证明，使用 TL;DR 压缩后的数据集能够在许多下游任务中提
PDFa year ago
ConES：用于参数高效调整大型视觉语言模型的概念嵌入搜索
本文提出基于概念嵌入搜索 (ConES) 的方法，通过优化提示嵌入来捕捉图像模态的概念，从而实现更轻便高效的训练范式，同时在分割、检测、生成等多个下游任务中展现了显著的效果。
PDFa year ago
探索多样的上下文配置进行图像字幕生成
本文通过实验研究，对比了四种图像选择和四种图像描述分配策略，在视觉语言领域的图像字幕生成任务中，探索了不同配置对于在情境学习上的影响，揭示了多模态协同作用下视觉语言情境学习的独特特征。
PDFa year ago
Musketeer (All for One, and One for All): 具有任务解释提示的通用视觉语言模型
介绍一种名为 Musketeer 的序列到序列的视觉语言模型，其参数在所有任务之间进行全面共享，通过一种新颖的功能任务解释提示（TEP）促进跨异构任务之间的知识整合，从而实现了单个模型在多个任务上几乎均匀地达到了与单任务强基线相当或更好的结
PDFa year ago
跨语言模型传递视觉提示生成器
本文旨在探究现有 VPG 在 VL-LLMs 之间的可迁移性，并通过提出的 VPGTrans 方案，成功在不牺牲性能的情况下将 VPG 从 BLIP-2 OPT $_{2.7B}$ 迁移到了 BLIP-2 OPT $_{6.7B}$，在迁移
PDFa year ago
CVPRIFSeg：基于视觉语言模型的无图像语义分割
本文提出了一种新的无图像分割任务，旨在通过视觉语言预训练模型，生成基于语义类别的人工图像分割对，并通过对这些人工对的学习，让预训练模型适应于分割任务，该方法在实验中表现良好。
PDFa year ago
面向视觉语言模型的 Patch-Token 对齐的贝叶斯提示学习
这篇文章介绍了一种基于贝叶斯概率理论的视觉 - 语言预训练模型关键词学习方法，该方法通过优化可视化知识和充分利用图像与相应提示的语义联系，在充分表达不同特性的同时保证泛化性能，该方法具有良好的转移性能和泛化性能，结果表明该方法比一般的提示工
PDFa year ago
ICLRHiCLIP: 基于分层感知注意力的对比语言 - 图像预训练
本文提出了用层级感知的注意力机制改进 CLIP 模型，以更好的捕捉图像和文本的高层语义，并在视觉识别和与视觉相关的下游任务中获得良好的结果。
PDFa year ago
UniAdapter：跨模态建模的统一参数高效迁移学习
该论文提出 UniAdapter，通过部分权重共享实现单模态和多模态适配器的统一设计，从而实现在预训练的视觉语言模型上进行跨模态自适应，仅需预训练模型的 1.0％-2.0％可调参数，实现强大的跨模态表示，对于各种下游任务都有益处，并在六项跨
PDFa year ago
ACL基于证据的自动事实检查中的图像阅读和推理
本文提出一种使用图表数据的自动事实检查任务，介绍了第一个对抗图表数据的自动事实检查模型 ChartBERT，结果表明其精度为 63.8％，可实现但存在挑战。
PDFa year ago
用更少的双模态监督训练视觉 - 语言模型
本次研究旨在探究如何在预训练视觉 - 语言模型中减少对平行数据的依赖，通过对高性能视觉 - 语言模型的实验，发现在一些简单任务中完全可以消除双模态监督，但在更复杂的任务中，没有双模态监督将导致随机的性能。然而，利用 5％的双模态数据或弱监督
PDF2 years ago
细粒度语义对齐视觉 - 语言预训练
LOUPE 是一个 fine-grained semantically aligned vision-language pre-training framework，通过博弈论交互的新视角学习到精细的语义对齐，并进一步提出了一个基于 Unc
PDF2 years ago
ECCV基于视觉 - 语言提示的零样本时序动作检测
本文提出了一种基于 Vision-LanguagE prompting (STALE) 的零样本学习时空动作检测模型，通过打破定位和分类之间的依赖关系来消除错误传播，有效解决了序列定位和分类设计中的困难，实验证明我们的模型在标准 ZS-TA
PDF2 years ago
AAAIBridgeTower: 视觉 - 语言表示学习中编码器之间桥梁的构建
本文提出了一种名为 BridgeTower 的 Vision-Language (VL) 模型，通过引入多个桥接层，利用来自预训练 Uni-modal 编码器的不同语义级别的视觉和文本表示实现了有效的从下到上的跨模态对齐和融合，在仅使用
PDF2 years ago
MixGen：一种新型多模态数据增强方法
本文介绍 MixGen：一种联合数据增强技术，利用插值和拼接文本的方式生成并保留了图像和文本之间的语义关系，已被应用于现有的一些数据处理流程中，我们在 CLIP、ViLT、ALBEF、TCL 等 4 个框架上进行验证，发现 MixGen 可
PDF2 years ago
骨干部分融合的粗到精视觉 - 语言预训练
FIBER 是一个用于 Vision Language（VL）的新型 VL 模型结构，通过将交叉注意力插入图像和文本骨干网络，将多模态融合深入到模型中，并使用两阶段预训练策略，可以在 VL 任务中提供一致的性能提升。
PDF2 years ago
VL-BEiT: 生成式视觉 - 语言预训练
提出了一种称为 VL-BEiT 的视觉语言基础模型，使用生成预训练学习的双向多模态 Transformer。该模型能够对单模态和多模态数据进行掩码预测。实验结果表明，VL-BEiT 在各种视觉语言基准测试中能够获得强大的结果，并学习到可转移
PDF2 years ago
通过跨模态跳跃连接实现有效和高效的视觉 - 语言学习的 mPLUG
mPLUG 是一个新的视觉语言基础模型，通过新颖的跨模态 skip-connections 有效缓解了现有预训练模型由于跨模态对齐中长的视觉序列带来的信息不对称和低计算效率等问题，通过对大规模图像 - 文本对的端到端预训练，具有良好的视觉和
PDF2 years ago
利用单模编码器进行视觉语言任务的多模适应蒸馏
提出了一种名为 MAD 的方法，可以使用预训练的单模态视觉和文本编码器对跨模态 VL 编码器进行自适应蒸馏，从而提高了跨模态学习的性能，特别是在 VCR 领域取得了 SOTA 表现。
PDF2 years ago
无监督视觉 - 语言解析：通过依赖关系无缝桥接视觉场景图与语言结构
本文提出了一种对视觉场景图和语言依赖树进行联合建模的无监督学习任务，并构造了一个新的数据集 VLParse，提出了基于对比学习的 VLGAE 框架用于 VL 短语理解和语言语法归纳。实验结果表明了视觉信息和语言依赖关系对于 VL 结构建模的
PDF2 years ago