zero-shot image captioning | BriefGPT

关键词zero-shot image captioning

搜索结果 - 7

CVPR 2024 NICE 挑战赛技术报告：使用集成 CLIP 和共识得分进行字幕重新排名评估
DSBA LAB 团队提出了一种名为 ECO（Ensembled Clip score and cOnsensus score）的新框架用于评估和排名给定图像的字幕，通过将考虑图像和字幕的语义对齐的 Ensembled Clip 得分与考虑
PDF2 months ago
CVPR2024 NICE 图像字幕挑战的解决方案
本文介绍了一种解决 2024 年 NICE 的 Topic 1 零射击图像字幕挑战的方法，通过检索增强和字幕评分方法有效地增强图像字幕，利用图像字幕模型生成的高质量字幕作为训练数据，利用基于手工模板的大规模视觉 - 语言预训练模型（OFA）
PDF2 months ago
CVPRMeaCap: 存储增强的零样本图像描述
提出了一种新颖的记忆增强型零样本图像字幕生成框架（MeaCap），通过装备文本记忆并引入检索 - 过滤模块，使用基于记忆的视觉相关融合评分及关键词 - 句子语言模型，生成与图像高度一致、拥有更少幻觉和更多世界知识的以概念为中心的字幕；该框架
PDF4 months ago
CVPR2023 NICE 图像字幕挑战的解决方案
我们在新的零样本图像字幕挑战中提出了解决方案，通过使用 Laion-5B 数据集进行数据级别和 OFA 模型进行模型级别的图像字幕任务，结合对齐图像文本对的对比学习和相似性桶策略，以及检索增强策略构建内容丰富的模板，最终在排行榜上取得了第一
PDF9 months ago
ICCV视觉实体的可迁移解码用于零样本图像字幕生成
我们提出了 ViECap，一种可转移的解码模型，利用实体感知解码生成见过和没见过的场景中的描述。ViECap 通过实体感知的硬提示将 LLMs 的注意力引导到图像中存在的视觉实体，实现了跨多样场景的连贯字幕生成。在通过实体感知的硬提示的情况
PDFa year ago
语言模型的视野：在文本生成中插入视觉控制
本研究提出了一个名为 MAGIC 的无需训练的框架，它能够将视觉控制插入文本生成过程中，并使 LM 在零样本情况下执行多模态任务，如图像字幕生成。在零样本图像字幕生成方面，MAGIC 在几乎 27 倍的解码加速度下，极大地超越了现有的最先进
PDF2 years ago
ACLECOL-R: 强化学习中鼓励复制的新颖物体描述
本文提出了 ECOL-R 模型，通过增强学习框架中的奖励函数鼓励新物体提及，维持字幕质量，并通过 Abstract Labels 和 Morphological Selector 改善复制机制，从而在 nocaps 和 held-out C
PDF3 years ago