contrastive vision-language models | BriefGPT

关键词contrastive vision-language models

搜索结果 - 6

ICML理解检索增强的视觉语言模型的任务适应性
采用对比式视觉 - 语言模型，通过检索增强的适应性实现了卓越的性能，在了解检索对视觉 - 语言模型适应性的影响方面展示了新的见解，并强调了对有效适应至关重要的对数集成的关键作用。
PDF2 months ago
两种效应，一个触发器：关于对比式视觉语言表示学习中的模态差异、物体偏见和信息不平衡
鉴于多模态差异，对象偏差及信息不平衡等因素，本研究通过对比视觉语言模型进行深入调查并提出了量化对象偏差的方法，揭示了信息不平衡是产生多模态差异和对象偏差的驱动因素。
PDF3 months ago
CLAP：对预先训练的视觉语言模型鲁棒性的增强提示对比学习
通过文本增强方法，不需要在对抗性示例上重新训练图像编码器，从而增强视觉 - 语言模型的稳健性，并且实验证明了在各种数据集上对预训练的 CLIP 模型的稳健性有显著改善。
PDF7 months ago
剩下的是错误的 - 对比视觉语言模型剩余的位置不全能
通过分析数据集和嵌入空间，本文讨论对比视觉语言模型（如 CLIP）缺乏空间理解能力的可能原因。通过关注简单的左右位置关系，我们展示了这种行为是可以预测的，即使使用大规模的数据集；我们证明可以使用合成数据教授这些关系，并且这种方法在自然图像上
PDF7 months ago
ICLR通过参数有效的迁移学习对视觉到语言的对比对齐
本文探讨了通过转移学习和最小更新已经训练好的视觉模型和语言模型创建对比视觉 - 语言模型的效率和性能，发现在少量参数更新（<7%）的情况下即可达到全模型训练的性能，而在更新特定组件（<1% 的参数）的情况下，也可以达到 75% 的全模型训练
PDFa year ago
视觉语言模型的无监督提示学习
本文提出了一种无监督提示学习（UPL）方法，以避免提示工程并同时提高类似 CLIP 的视觉语言模型的传递性能。该方法实验结果显示，在 ImageNet 以及其他 10 个数据集上，与原始 CLIP 相比，UPL 具有更优秀的传输表现，并且增
PDF2 years ago