zero-shot image classification | BriefGPT

关键词zero-shot image classification

搜索结果 - 12

语义组合提升视觉 - 语言对比学习
通过引入语义组合样本，我们通过一个简单的技术（称为 CLIP-C），显著改善了零样本图像分类和跨模态检索的能力，而不需要额外的计算开销或模型参数增加。
PDF3 days ago
BaFTA：零样本视觉语言模型的无反向传播测试时适应
我们提出了一种名为 BaFTA 的新型零样本学习算法，通过在投影嵌入空间中使用在线聚类来估计类别质心并动态地聚合预测，从而在效果和效率上持续优于最先进的测试时间自适应方法。
PDF17 days ago
心智之眼：脑电波通过多模态相似性保持对比学习进行图像识别
本研究介绍了一种基于脑电信号的 MUltimodal Similarity-keeping contrastivE learning（MUSE）框架，用于解码图像，实现零样本图像分类。通过对脑电数据集进行正则化对比性脑电图像预训练，我们的方
PDFa month ago
视觉增强零样本图像分类的多模态大语言模型
使用多模态大语言模型 (Multimodal LLMs) 的简单且有效方法实现了零样本图像分类，通过生成全面的文本表示从而在交叉模态嵌入空间中生成固定维度特征，在线性分类器上融合这些特征以进行分类，取得了令人瞩目的效果。
PDFa month ago
填补视觉语言模型选择中的模态和容量差距
本文分析了在使用语言 - 仅依据进行视觉语义模型 (VLM) 选择中的两个固有挑战：模态差异和能力差异，并提出了一种称为 SWAB 的方法来缓解这两个差距，通过最优传输捕捉开源数据集与目标数据集之间的相关性，并将有用的统计信息从开源数据集传
PDF3 months ago
通过地面遥感对齐构建无需注释的遥感视觉 - 语言基础模型
我们提出了一种基于视觉语言模型训练遥感图像的方法，无需使用任何文本注释。我们的关键洞察力是使用地面上的互联网图像作为遥感图像和语言之间的中介。通过使用大量的配对互联网和卫星图像，我们训练了遥感图像的图像编码器与 CLIP 的图像编码器对齐。
PDF7 months ago
抗噪非监督视觉 - 语言模型适配器
通过引入 NtUA，一种噪声容忍的无监督适配器，在大规模视觉语言模型中实现了卓越的性能，通过少量未标记的目标样本学习优越的目标模型，并通过知识蒸馏纠正伪标签和缓存权重，从而在多个广泛采用的基准测试中实现了一致的卓越表现。
PDF9 months ago
Babel-ImageNet：大规模多语言视觉语言表示的评估
使用 Babel-ImageNet 建立大规模多语言图像描述数据集，通过在 0-shot 图像分类任务上的表现大幅验证了多语言 VL 模型的性能差异并证明了其在图像 - 文本检索上的可行性。
PDFa year ago
ACL从儿童身上学习：通过课程改进图像 - 字幕预训练
通过引入符合儿童语言学习理论的课程式学习框架，逐步增加每个标题的概念数量，为图像 - 标题预训练建立成果，以显著提高零样本图像分类和目标检测性能等各种预测任务。
PDFa year ago
CamDiff: 基于扩散模型的伪装图像增强技术
该论文提出了一种基于 AI-Generated Content 的 CamDiff 方法，利用 latent diffusion model 综合伪装场景中的显著物体来生成更具有代表性的伪装样本，其结果表明，该方法能够吸引用户的关注并对现有
PDFa year ago
零样本图像分类中的注视嵌入
本文提出一种依靠人类凝视作为辅助信息的零样本图像分类方法，通过数据收集范式和提取判别性描述符来构建图像和凝视的兼容性函数，实现了细粒度图像分类和比基准更优秀的零样本分类结果。
PDF8 years ago
ECCV通过度量学习提高语义嵌入一致性，用于零样本分类
本文提出了一种新的零样本图像分类方法，通过度量学习来控制图像的语义嵌入，实现了不需要在训练阶段使用类别的零样本学习，仅需在地面实况中提供以图像 / 属性为对的约束关系，使得学习模型可以预测一个测试图像与给定属性的一致性，并且该方法在四个挑战
PDF8 years ago