vision-language pre-training models | BriefGPT

关键词vision-language pre-training models

搜索结果 - 5

开放词汇目标检测中学习超越名词概念的伪标签器
本文提出了一种简单而有效的方法，用于直接学习任意概念的区域 - 文本对齐，从而在开放词汇目标检测方面取得有竞争力的性能和在任意概念的指称表达理解方面取得显著的改进。
PDF7 months ago
MM突破通用：利用视觉语言预训练模型增强图像字幕生成的实际知识
利用视觉 - 语言预训练模型（VLP）和知识引导回放（K-Replay）方法，将大规模网络收集的知识融入图像描述中，以提高其准确度和知识识别能力。
PDFa year ago
从关联到生成：通过无监督的跨模态映射进行纯文本描述
本文介绍了一种名为 Knight 的基于 K 最近邻跨模态映射的零样本图像和视频描述生成方法，利用文本无监督训练实现了图像和视频描述的最新零样本表现。
PDFa year ago
防御前缀对抗 CLIP 上的排版攻击
本研究提出了一种名为 Defense-Prefix（DP）的方法来防范视觉语言预训练模型中的排版攻击，该方法可以在不改变模型参数的情况下应用于目标检测等下游任务，并显著提高了分类任务的准确性。
PDFa year ago
WuDaoMM：大规模多模态数据集用于预训练模型
本篇论文介绍了一种大规模多模态库 WuDaoMM 用于 Vision-Language 解决方案的预训练模型，其中包含了超过 650M 的弱相关和强相关的图片 - 文本对，并经过实验证明，WuDaoMM 是一种高效的 VLPMs 数据集。
PDF2 years ago