contrastive language-image pre-training | BriefGPT

关键词contrastive language-image pre-training

搜索结果 - 51

CLIP 的多模态多标签分类
设计一个学习算法来处理图像和文本两个数据源，通过使用对比语言图像预训练作为特征提取器并探索不同的分类头、融合方法和损失函数来学习全面的语义特征表示，最终在公共 Kaggle 竞赛排行榜上获得超过 90% 的 F_1 分数。本文通过实验结果提
PDF9 days ago
工业语言图像数据集（ILID）：为工业场景调整视觉基础模型
我们介绍了一种基于网络爬取数据的工业语言图像数据集（Industrial Language-Image Dataset）的生成流程，并展示了有效的自监督迁移学习方法，以及在这个廉价获取的数据集上进行训练后的下游任务讨论（不需要人工标注或干预
PDF18 days ago
基于 CLIP 的服装无关特征学习与人物换衣再识别
提出了一种名为 CLIP-Driven Cloth-Agnostic Feature Learning (CCAF) 的新颖框架，用于解决 Cloth-Changing Person Re-Identification (CC-ReID)
PDF19 days ago
TIMA: 文本 - 图像相互感知的零样本鲁棒性与泛化能力平衡
通过引入一种新的文本图像相互感知（TIMA）方法，这项工作提出了一种旨在在大规模基础模型中实现零 - shot 对抗鲁棒性并保持零 - shot 泛化的挑战，重点关注流行的对比语言图像预训练（CLIP）模型。该方法在小型对抗扰动下在零 -
PDFa month ago
Mammo-CLIP：利用对比式语言 - 图像预训练（CLIP）对多视角乳腺摄影增强乳腺癌诊断
通过多视图乳房 X 光片和简单文本的多模态框架 Mammo-CLIP，本研究展示了应用微调视觉语言模型来开发下一代基于图像文本的乳腺癌 CAD 方案的潜力。
PDF2 months ago
适应性提示学习与负面文本语义和不确定性建模的通用多源领域适应
利用自适应提示学习、负面文本语义和基于对比语言 - 图像预训练的不确定性建模方法，本文提出了一种适应性提示方法，用于 UniMDA 分类任务，通过使用自适应提示的 CLIP 来利用类语义和领域表示的文本信息，帮助模型识别未知样本并解决领域转
PDF2 months ago
ECCV在少量样本学习中进行迭代视觉知识补全
本文提出了一种迭代式视觉知识完善（KCL）方法，通过正确利用未标记样本来补充视觉知识，以应对少样本学习中存在的分类偏差问题。经过多次迭代，收集更多样本以逐步稳定和完善视觉知识。实验结果表明，KCL 在少样本和零样本学习设置下作为即插即用模块
PDF3 months ago
FLoRA：利用参数高效的联邦学习增强视觉语言模型
该论文提出了一种融合 Federated Learning 和 parameter-efficient adapters (LoRA) 的方法，以训练视觉语言模型 (VLMs)，该方法通过在分散的数据源上训练模型来保护数据隐私，并通过 Lo
PDF3 months ago
通过 CLIP 检测人工智能生成的图像
通过对大规模互联网数据集进行预训练后，在真实图像和人工智能生成图像进行微调，我们展示了细调后的 Contrastive Language-Image Pre-training（CLIP）架构能够与专门设计用于检测人工智能生成图像的模型相媲美
PDF3 months ago
缩放 (下降) CLIP: 数据、架构和训练策略的全面分析
研究通过受限的计算预算缩小规模的对比性语言 - 图像预训练（CLIP）的性能，分析数据、架构和训练策略三个维度，证明高质量训练数据的重要性，指出较小的数据集在一定计算限制下优于较大数据集，并提供选择基于 CNN 架构或 ViT 架构进行 C
PDF3 months ago
CLIP-Embed-KD: 以嵌入向量作为教师的计算高效知识蒸馏
通过利用嵌入作为教师，我们扩展了 CLIP 用于高效进行知识蒸馏，初步结果表明，使用嵌入进行基于 CLIP 的知识蒸馏可以在使用少至 9 倍内存和 8 倍训练时间的情况下优于完整规模的知识蒸馏。
PDF3 months ago
RAVE：CLIP 引导的背光图像增强中的剩余向量嵌入
本研究提出了对对比语言 - 图像预训练（CLIP）指导的一种新型修改，用于无监督背光图像增强任务，通过学习背光图像和良好照明图像之间的文本 - 图像相似度来引导图像增强网络，并通过计算嵌入空间中的残差向量来指导增强网络的训练，以实现背光图像
PDF3 months ago
CVPR基于 Transfer CLIP 的通用图像去噪
本文提出了一种利用 CLIP 模型来提高图像去噪的对称编码器 - 解码器网络，并通过渐进特征增强策略来改善解码器的鲁棒性，实验证明该方法具有优越的泛化能力。
PDF3 months ago
长文本 CLIP: 解锁 CLIP 的长文本能力
通过引入 Long-CLIP 作为 CLIP 的替代方案，本研究提供了一种支持长文本输入的方法，并保持了零样本泛化能力，提高了长标题文本 - 图像检索和传统文本 - 图像检索任务的性能。
PDF3 months ago
高效对比语言 - 图像预训练：数据质量优先于数量
我们提出了一种理论上严谨的数据选择方法，通过保留图像和标题的交叉协方差，提高 Contrastive Language-Image Pre-training 模型的泛化性能，并在 ConceptualCaptions3M 和 Concept
PDF3 months ago
ACL用两步重述细调 CLIP 文本编码器
通过引入一个简单的微调方法，我们提出了一种改进 CLIP 模型对于释义的表征的方法，该方法使用大规模语言模型从 Web 规模的图像字幕中自动创建两类释义，并在固定图像编码器的同时微调 CLIP 文本编码器。我们的模型 ParaCLIP 在各
PDF4 months ago
注意模态差异：通过交叉模态对齐实现遥感视觉语言模型
通过鲁棒的微调与跨模态对齐，本研究提出了一种方法，旨在将 RS（Remote Sensing）图像模态与 CLIP 的视觉和文本模态对齐，从而在 RS 图像分类和跨模态检索任务中获得显著的性能提升。
PDF5 months ago
UMG-CLIP: 一个统一的多粒度视觉通才用于开放世界理解
该研究扩展了 CLIP 模型的多粒度对齐，在多个层次上构建了伪注释数据集，并开发了名为 UMG-CLIP 的统一多粒度学习框架，通过参数高效调整，实现了在各种图像理解基准测试中超越当前广泛使用的 CLIP 模型，包括开放世界识别、检索、语义
PDF6 months ago
CLIP 引导的无源目标检测在航空图像中
我们提出了一种新颖的无源物体检测（SFOD）方法，利用对比式语言 - 图像预训练（CLIP）引导生成伪标签进行自我训练，以实现在领域适应中的准确学习。实验结果表明，我们的方法优于其他比较算法。
PDF6 months ago
MLIP：医学语言 - 图像预训练与遮蔽局部表示学习
本文旨在通过引入多对多局部关系建模来增强数据效率，从而更有效地利用有限的医学图像文本数据。我们提出了医学语言 - 图像预训练（MLIP）框架，通过补丁 - 句子匹配的方式更有效地利用图像 - 文本医学数据，同时引入遮蔽对比学习策略和语义完整
PDF6 months ago