zero-shot recognition | BriefGPT

关键词zero-shot recognition

搜索结果 - 28

基于部分感知的语言和骨架的零样本动作识别统一表示
通过 Part-aware Unified Representation between Language and Skeleton (PURLS) 方法，本文介绍了一种针对无监督骨架动作识别的新方法，通过在本地和全局尺度上探索视觉语义对齐
PDF13 days ago
基于逐阶段增强微调的小样本识别
我们的研究探索了检索增强学习（RAL）在少样本识别中的应用。在这项工作中，我们提出了利用 Vision-Language Models（VLMs）进行 finetuning 的两个阶段方法：第一阶段对混合数据进行端到端 finetuning
PDF15 days ago
HierCode：一种用于零样本中文文本识别的轻量级分层编码本
HierCode 是一种利用汉字的内在层次结构，通过多热编码策略和原型学习创建独特、信息丰富的表示来解决汉字识别中的挑战，包括层次化部首表示、未知字符识别以及线级识别任务，并在各个基准测试中展示其优越性能。
PDF3 months ago
CVPRUniBind: 统一与平衡的 LLM 增强表示空间以绑定所有
UniBind 是一种灵活高效的方法，利用大型语言模型（LLMs）学习统一的表示空间，用于处理多模态数据，实现零样本识别并在多模态微调中取得新的最先进性能。
PDF3 months ago
利用 LLMs 自动化零射视觉识别的元提示
通过 Meta-Prompting for Visual Recognition (MPVR) 方法，仅凭目标任务的简短自然语言描述和相关类别标签的最小信息输入，自动产生一组多样的类别特定提示，从而实现强大的零样本分类器。在多个不同领域的流
PDF3 months ago
ICLR克服视觉语言模型微调的问题：针对 OOD 泛化
在本论文中，我们首先展示了，经过足够时间的微调但没有适当的正则化，视觉 - 语言模型在给定数据集中往往会过度拟合已知类别，导致对未知类别的表现下降。然后，我们提出了一种新颖的方法 OGEN 来解决这个问题，在关注点主要是改进经过微调模型的未
PDF5 months ago
视觉 - 语言模型中被忽视的尾部
视觉语言模型（VLM）在零射击识别方面表现出色，但在视觉概念上的性能相差巨大。我们的工作首次尝试通过分析预训练文本来测量概念频率，并提出了一种减轻 VLM 在零射击识别中不平衡性能的方法 REtrieval-Augmented Learni
PDF5 months ago
利用 GPT-4 视觉进行零样本点云理解
我们研究了在点云中分类物体类别的挑战，通过使用 GPT-4 Vision（GPT-4V）的先进生成能力，我们的方法能够处理复杂的 3D 数据，在不改变底层模型架构的情况下实现了零样本识别能力，并通过系统策略进行点云图像可视化，提高了 GPT
PDF6 months ago
EMNLPNERetrieve: 下一代命名实体识别与检索数据集
通过大规模语言模型，命名实体识别可以达到更精细化的实体类型识别、零样本识别和语句检索等目标，但这些目标仍然需要进一步研究和探索。
PDF8 months ago
EMNLP零射击物种识别中的科学名称提示
使用视觉 - 语言模型 (CLIP) 进行零样本识别的研究，通过将科学名称翻译为常用的英文名称，作为提示语可以在精细物种识别数据集上取得 2 到 5 倍的准确率提高。
PDF9 months ago
研究 CLIP 模型的限制：最差表现的分类
通过研究 CLIP 模型中两种形式的对齐并提出类别匹配边界来解决其性能不足的问题，成功提高了 ImageNet 上最差 10 个类别的准确率，无需手动优化或访问标记验证数据。
PDF9 months ago
利用难样本提升视觉 - 语言模型性能
HELIP 是一种低成本的策略，它通过在原始训练数据上混合硬例子，然后使用对比对齐目标和边缘损失将经过良好训练的 CLIP 模型进行微调，从而提高其性能，而无需从头开始训练模型，HELIP 在现有模型中以即插即用的方式实现，对于零样本识别和
PDFa year ago
CVPR为视觉和语言模型命名类别的学习
使用可用数据为每个类学习最佳词嵌入作为视觉内容的函数，以此来解决零样本识别对手工类名的高度敏感以及适应新、较小数据集的困难。我们证明，该解决方案可以轻松集成在图像分类和物体检测管道中，在多种情况下产生显著的性能增益，并提供模型偏差和标注误差
PDFa year ago
CVPR基于 CLIP 的开放集视频领域自适应框架 AutoLabel
本研究提出了一种基于预训练语言和视觉模型的 open-set 无监督视频域自适应方法，并引入了 AutoLabel 来发现和生成目标专有类别的类名，通过改进的 CLIP 模型可以有效地对目标专有的类别进行识别，并提高两个域之间分享类别的对齐
PDFa year ago
CVPR无监督文本到图像生成的变分分布学习
本文提出了一种基于深度神经网络的文本到图像生成算法，使用预训练的 CLIP 模型和变分推断的方式，优化算法并取得了在无监督和半监督文本图像生成任务下 beat state-of-the-art 的结果。
PDFa year ago
CVPR视觉语言预训练的过滤、蒸馏和难负样本
通过对大规模嘈杂数据进行对比学习训练的视觉 - 语言模型正在变得越来越受欢迎用于零样本识别问题，本文在数据集噪声、模型初始化和训练目标三个方面对对比预训练管道进行了改进。通过 Complexity、Action、and Text-spott
PDFa year ago
基于笔画的自编码器：高效零样本汉字识别的自监督学习模型
在本文中，我们介绍了一个基于笔画的自编码器方法，用于对汉字的形态结构进行建模和预测，在零样本识别和增强汉字表示方面，取得了比现有方法更好的实验效果。
PDF2 years ago
CVPR图像 - 文本 - 标签空间统一的对比学习
该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能
PDF2 years ago
最优传输蒸馏与数据高效的语言监督零样本识别
本篇研究提出了一种在线熵最优传输方法 OTTER，使用其进行对比学习，使来自预先训练的图像和文本编码器的模型仅需要使用 3M 图像 - 文本对进行训练，就可以在 Google Open Images 和 Tencent ML-Images
PDF3 years ago
无处不在的监管：一种数据高效的对比语言图像预训练范式
本文提出一种用于 Contrastive Language-Image Pre-training (CLIP) 的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像 - 文本对之间的广泛监督来更有效地学
PDF3 years ago