vision-language tasks | BriefGPT

关键词vision-language tasks

搜索结果 - 25

ACL良好的提示价值数百万个参数：面向低资源的基于提示的视觉语言模型学习
本论文研究了基于 prompt 的低资源视觉语言（VL）任务 few-shot 学习。对大规模预训练的 VL 模型进行了实验，证明 FewVLM 在 VQA 任务上的效果优于 Frozen，而且能够达到比更大的模型 PICa 相当的结果。
PDF3 years ago
在融合之前对齐：使用动量蒸馏进行视觉和语言表示学习
本研究介绍了一种名为 ALBEF 的对齐图像和文本表示的方法，该方法利用交叉模态注意力通过对比损失对齐视觉和语言特征，以实现更可靠的视觉和语言表征学习。研究表明，该方法在多种下游视觉语言任务上实现了最好的性能。
PDF3 years ago
ICCVe-ViL: 视觉语言任务中自然语言解释的数据集和基准测试
本研究介绍了 e-ViL 和 e-SNLI-VE 为可解释的视觉语言任务建立了一个统一的评估框架。该任务旨在生成自然语言解释，并涉及四个模型和三个数据集。研究人员还提出了一种新模型，该模型结合了 UNITER 和 GPT-2，对所有数据集的
PDF3 years ago
ECCVOscar: 面向视觉语言任务的对象 - 语义对齐预训练模型
本文介绍了一种基于目标检测的图像 - 文本预训练学习方法 Oscar，通过使用在图像中检测到的目标标签作为锚点，显著简化模型中的图像与文本的语义对齐，使其在六个视觉 - 语言理解和生成任务中创造了新的最好成果。
PDF4 years ago
去混淆化的图片字幕生成：一项因果回顾研究
本文提出了一种基于因果推断的新颖视角：去混淆图像标题（DIC），给出了 DICv1.0 框架，并在 MS-COCO 数据集的 Karpathy 和在线分裂上展示了 DICv1.0 的改进：两个流行的标题模型分别达到了单模型的 130.7 C
PDF4 years ago