contrastive vision-language pre-training | BriefGPT

关键词contrastive vision-language pre-training

搜索结果 - 8

从 CLIP 中挖掘开放语义：一种关系转换视角的少样本学习方法
通过挖掘开放语义作为锚点，并采用转换器模块进行从图像 - 锚点关系到图像 - 目标关系的关系转换，我们的方法在少样本分类设置中表现出色。
PDF17 days ago
FILP-3D：利用预训练视觉语言模型增强 3D 少样本类别渐进学习
通过引入 Redundant Feature Eliminator (RFE) 和 Spatial Noise Compensator (SNC) 两个新颖组件，实现了在有限数据上进行递增训练时对灾难性遗忘问题的减轻。实验结果表明，该方法在
PDF6 months ago
元适配器：一个用于视觉 - 语言模型的在线少样本学习者
提出了 Meta-Adapter 方法，它是一种轻量级的残差式适配器，通过在线学习利用少量样本来优化 CLIP 特征，从而实现有效的少样本学习能力和泛化到未见过的数据或任务的能力，并取得了竞争性的性能和高效率。
PDF8 months ago
知识增强：重新思考医学对比视觉 - 语言预训练
本文提出了一种知识增强的对比视觉语言预训练（KoBo）框架，该框架将临床知识整合进视觉语言语义一致性的学习中，从而应用于分类、分割、提取和语义相关性的任务中，具有与零样本或少样本设置相当或更好的性能。
PDFa year ago
NeuroCLIP: CLIP 和 SNN 辅助下的神经形态数据理解
本研究提出了一种名为 NeuroCLIP 的新方法，通过将 Contrastive Vision-Language Pre-training（CLIP）的二维预训练知识转移到事件脉冲上，以实现对神经形态数据中 “未见过” 的对象的识别，同时
PDFa year ago
ECCV冻结的 CLIP 模型是高效的视频学习者
本文提出 Efficient Video Learning (EVL) 框架，使用轻量级 Transformer 解码器和学习查询标记以从 CLIP 图像编码器中动态收集帧级空间特征，进一步采用每个解码器层中的局部时间模块来发现相邻帧及其注
PDF2 years ago
ECCVTip-Adapter: 无需训练的适应 CLIP 用于少样本分类
本篇论文提出了一种利用键值缓存模型构建适配器的零训练方法 Tip-Adapter，来有效地增强 Contrastive Vision-Language Pre-training（CLIP）的适应能力，为少样本学习提供了一个计算资源高效的选择
PDF2 years ago
CLIP-Adapter: 特征适配器提升视觉语言模型
本文提出一种新的视觉语言模型 fine-tuning 方式 ——CLIP-Adapter，通过在原训练模型上加入新特征层并进行残差式混合来实现，在各种视觉分类任务中表现优异，优于 context optimization
PDF3 years ago