clip models | BriefGPT - AI 论文速递

关键词clip models

搜索结果 - 12

非洲还是欧洲的燕子？针对细粒度物体分类的大型视觉语言模型基准测试
最近大型视觉 - 语言模型（LVLMs）在诸多图像理解和推理任务上表现出令人印象深刻的能力。然而，细粒度对象分类任务（例如，区分动物物种）的研究尚不足够，在下游任务中的重要性不够凸显。我们通过创建一个名为 FOCI（Fine-grained
PDF12 days ago
多模态代理的对抗攻击
基于视觉和语言的模型对自主多模态代理进行了攻击，展示了新的安全风险，并通过对抗性文本字符串指导基于梯度的扰动来执行对手目标。
PDF14 days ago
CLIP 与优质字幕：强大的视觉任务预训练
简要概述：通过改进图像 - 文本数据集中标题的质量，有助于改善 CLIP 模型的视觉表示质量，并在密集预测视觉任务中取得显著的性能提升。
PDF2 months ago
迭代地提示多模态 LLMs 以重现自然和 AI 生成的图像
利用多模态模型与增强的视觉理解来模仿 AI 生成图像市场，并引入一种新的攻击策略，结果表明可以以显著较低的成本生成与市场价格相似的视觉内容，突出了数字媒体完整性的需求和战略讨论。
PDF2 months ago
社交媒体数据的 N 模态对比损失及其在三模空间中的应用
通过将对比损失函数扩展到任意数量的模态，本文在社交媒体中探讨三模态空间的实用性，并在两个 OSINT 情景中展示了三模态模型的使用价值：将社交媒体文物帖子分类为亲俄罗斯或亲乌克兰，以及识别给定文物的原始账户。此外，本文还展示了一种新型的四模
PDF3 months ago
CVPR你将永不独行：细粒度图像检索的草图与文本二重奏
这篇论文提出了通过合成模型和文本来改进细粒度图像检索的方法，创新性地将素描和文本结合起来，从而实现了以往无法实现的精确检索，同时提供了解决各种实际场景的解决方案。
PDF4 months ago
逆转 CLIP 模型带给我们什么启示？
我们使用反演方法研究了 CLIP 模型，发现其反演结果生成的图像与指定的目标提示存在语义对齐。我们利用这些反演图像深入了解了 CLIP 模型的各个方面，如其概念融合能力和性别偏见的包含。我们特别观察到模型反演过程中出现了不安全的图像，即使对
PDF4 months ago
ACL用两步重述细调 CLIP 文本编码器
通过引入一个简单的微调方法，我们提出了一种改进 CLIP 模型对于释义的表征的方法，该方法使用大规模语言模型从 Web 规模的图像字幕中自动创建两类释义，并在固定图像编码器的同时微调 CLIP 文本编码器。我们的模型 ParaCLIP 在各
PDF4 months ago
SynthCLIP：我们是否准备好进行完全合成的 CLIP 训练？
使用纯合成图像和对应的描述生成的 SynthCI-30M 数据集，通过 SynthCLIP 框架能够以与真实数据训练的 CLIP 模型相媲美的性能进行训练。
PDF5 months ago
ICCV使用科学论文数据训练 CLIP 模型
通过使用科学论文的文本 - 图像数据，该研究探索在特定领域内加入具有更高质量的有限数量数据是否能够提高 CLIP 模型的整体性能。小规模实验结果显示模型性能有中等程度的提升，表明使用该研究所考虑的数据来源来训练大规模 CLIP 模型是一个有
PDF8 months ago
MoP-CLIP: 针对领域增量学习的 Prompt-Tuned CLIP 模型混合
提出了一种基于 CLIP 模型的多提示混合学习方法，用于解决领域增量学习中遇到的忘却和分布漂移问题，并表明该方法在标准的领域增量学习设置中表现出色，而在超出分布的情况下表现更好。
PDFa year ago
EMNLP利用语言 - 图像预训练进行高效稳健的双语词汇对齐
本文提出了一种名为 WALIP 的 UWT 方法，它基于预训练的语言 - 图像模型和 CLIP 模型，使用图像指纹来定义初始节点，再通过鲁棒的 Procrustes 算法迭代校正和细化估计的对齐，此方法在语言对和词向量不同的情况下表现出了极
PDF2 years ago