novel object captioning | BriefGPT

关键词novel object captioning

搜索结果 - 5

ICCVRCA-NOC: 相对比对对齐用于新颖物体字幕生成
通过相对对比学习，本研究提出了一种新颖的方法来学习视觉和语义对齐，从而实现新颖物体的描述。针对每个图像，通过利用基于 CLIP 的正负样本的相对性质增加标签，设置适当的对比学习目标，并且将每个增强标签在列表中的排名作为相对相关性标签来对比每
PDF7 months ago
CVPR使用外部知识检索词汇的新颖目标字幕生成技术 NOC-REK
该研究提出了一种名为 NOC-REK 的端到端的新物体字幕生成方法，通过从来自 Wiktionary 的嵌入中检索任何对象的定义，使用 transformers 模型中学习的图像区域特征来检索字典，从而有效地描述训练数据中缺失的对象。此外，
PDF2 years ago
ACLECOL-R: 强化学习中鼓励复制的新颖物体描述
本文提出了 ECOL-R 模型，通过增强学习框架中的奖励函数鼓励新物体提及，维持字幕质量，并通过 Abstract Labels 和 Morphological Selector 改善复制机制，从而在 nocaps 和 held-out C
PDF3 years ago
大规模的新物体字幕生成
研究了如何从其他数据源中学习视觉概念，并创建了一个大规模的基准来评估新图像说明模型可以从中获得这些视觉概念的能力。
PDF6 years ago
MM分离式新颖物体描述生成器
本文提出了一种零样本学习的图像字幕生成方法，通过将对象描述与语言模型解耦，在一个包含新颖对象的未知领域中生成字幕，其结果表明该方法在零样本新颖对象字幕任务中表现良好。
PDF6 years ago