image captioning models | BriefGPT

关键词image captioning models

搜索结果 - 8

MM面向图像标注的检索增强架构
通过利用外部的 kNN 内存来改善生成过程，本研究提出了两个模型变体，这些模型变体结合了基于视觉相似性的知识检索器组件、可微分编码器以及基于上下文线索和从外部存储器中检索的文本来预测标记的 kNN 增强语言模型。在 COCO 和 nocap
PDFa month ago
CVPR学习从图像描述到视频检索
我们提出了一种协议来研究使用未标注视频进行文本到视频检索训练，在这种协议下，我们不假设对任何视频有标签的访问，即没有对应用真实字幕的视频集的访问权限；但我们可以通过文本形式访问有标签的图片。使用图像专家模型是一个现实的场景，因为注释图像比昂
PDF2 months ago
CVPRPolos: 从人类反馈中进行多模态度量学习用于图像字幕生成
提出了一种基于人类反馈训练的 Polos 的自动评估度量标准用于图像字幕模型，该度量标准从多模态输入中计算得分，利用通过大规模对比学习训练的嵌入进行平行特征提取机制。通过在 Polis 数据集上取得的最新成果，证明了该方法具有效果和鲁棒性。
PDF4 months ago
面向对象的图像标题的后门攻击
我们通过对训练数据进行污染来研究背景图像描述模型的后门攻击，采用面向对象的方法设计毒物以修改像素值，并证明了图像描述模型对后门攻击的弱点，希望能在图像描述领域引起对抗后门攻击的意识。
PDF6 months ago
BLIP-Adapter: 移动屏幕截图字幕的参数高效迁移学习
本研究旨在探讨对屏幕截图字幕任务进行高效调优的方法。通过冻结图像字幕模型的参数，仅训练与方法相关的权重，可以实现与整个模型微调相当的性能，同时大幅减少参数数量。该研究首次全面探讨了在屏幕截图字幕任务中结合适配器的有效性，并通过实验和分析为适
PDF9 months ago
儿童词汇学习与字幕模型之间的对应关系
研究表明，儿童语言学习和图像字幕模型的表现存在一定的相似性，字幕模型能够将单词分类以帮助儿童学习，并且其性能与单词的具体性和图像现象有关。
PDF2 years ago
ACL图像字幕的透明人工评估
本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。
PDF3 years ago
Tell-and-Answer: 基于属性和字幕的可解释视觉问答
本研究提出将端到端的 VQA 分解为解释和推理两步，使用预训练的属性检测器和图像字幕模型提取图像属性和生成图像描述，然后使用推理模块将这些解释代替图像推断问题的答案。通过对热门 VQA 数据集进行实验，我们证明了该系统具备解释性和进一步提高
PDF6 years ago