contrastive language-image pretraining | BriefGPT

关键词contrastive language-image pretraining

搜索结果 - 21

ICMLMLIP: 高效多角度语言图像预训练与全面数据利用
通过引入频率转换和标记级别对齐的方法，提出了多视角语言 - 图像预训练（MLIP）来解决 CLIP 在数据利用效率方面的挑战，并通过标记合并方法来加快 CLIP 的速度。
PDFa month ago
ICMLJina CLIP：你的 CLIP 模型也是你的文本检索器
通过多任务对比训练方法，我们提出了一种新颖的 jina-clip-v1 模型训练方法，以在文本 - 图像和文本 - 文本检索任务上实现了最先进的性能。
PDFa month ago
CLIP 中的协同作用和多样性：通过自适应骨干集成提高性能
对比性语言 - 图像预训练 (CLIP) 是一种重要的图像表示学习方法，本文探讨了不同的 CLIP 训练视觉骨干网络之间的差异，发现它们具有不同的表达方式、在数据集上具有不同的分类性能，以及对某些图像扰动的鲁棒性不同。研究结果表明，在每个测
PDFa month ago
CLIP 模型是一个高效的在线终身学习者
在线终身学习 (OLL) 研究了从连续和非恒定数据流中学习的挑战。通过对视觉 - 语言模型 (如 Contrastive Language-Image Pretraining，CLIP) 进行参数高效调整 (PET) 的在线终身学习方法显示
PDFa month ago
SATO: 稳定的文本到动作框架
研究发现了文本到动作模型的重要问题，并建立了不稳定的模型输出与文本编码模块的注意力模式之间的明确联系。因此，引入了一个稳定的文本到动作框架（SATO），其中包括稳定的注意力、稳定的预测和平衡准确性和稳健性之间的模块。验证模型的稳定性时，引入
PDF2 months ago
CLIP-Mamba：OOD 和 Hessian 评估的 CLIP 预训练 Mamba 模型
通过对比度语言图像预训练技术，本技术报告首次引入了训练可传输 Mamba 模型的方法。在 26 个零样本分类数据集和 16 个超出分布范围的数据集上，我们训练了不同规模的 Mamba 模型，并对其进行了全面评估。结果表明，具有 6700 万
PDF2 months ago
CVPRMoDE: 通过聚类实现 CLIP 数据专家
使用混合数据专家（MoDE）方法提高神经网络 CLIP 在零样本图像分类任务上的性能，通过聚类学习多个数据专家，使用元数据与聚类条件的相关性确定权重进行模型集成。
PDF2 months ago
RankCLIP: 语言 - 图像一致的排序预训练
通过在大量文本图像对上进行自我监督的对比学习，RankCLIP 在扩展 CLIP 的刚性一对一匹配框架的同时，利用模态内和跨模态的排序一致性来提高对齐过程，捕捉每种模态之间和内部的细致的多对多关系，有效提升各种下游任务的性能，尤其在零样本分
PDF3 months ago
OV-NeRF: 基于视觉和语言的开放词汇神经辐射场技术用于 3D 语义理解
利用 OV-NeRF 模型，通过单视图和跨视图策略，在 3D 场景中提高语义感知能力，通过 Region Semantic Ranking（RSR）和 Cross-view Self-enhancement（CSE）方法解决了噪声和不一致语
PDF5 months ago
ICLR训练无关 CLIP 基于适应的难以超越的基准线
对比语言 - 图像预训练（CLIP）已经因其非凡的零 - shot 能力而受到广泛关注。本研究聚焦于开发高效的微调方法来提升 CLIP 在下游任务中的性能，其中包括提示学习和适配器。然而，这些方法仍然需要额外的训练时间和计算资源，对于资源有
PDF5 months ago
EVA-CLIP-18B：扩展到 180 亿参数的 CLIP
EVA-CLIP-18B 是目前最大且最强大的开源 CLIP 模型，拥有 180 亿参数；只看到 60 亿个训练样本，EVA-CLIP-18B 在 27 个广泛公认的图像分类基准中，以异乎寻常的 80.7% 零示例一级准确度表现出色，在模型
PDF5 months ago
AAAI概念引导下的提示学习进行视觉 - 语言模型泛化
通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。
PDF6 months ago
揭示 CLIP 中的骨干效应：探索表征的协同作用与变异
通过对比语言 - 图像预训练方法的不同背骨架结构的性能差异，发现正则化这些表示会导致显著的性能变化，进而提出了一种简单但有效的方法来结合多个背骨架的预测，并实现了显著的性能提升。
PDF6 months ago
ICCV错位，对比，提炼：再思语言 - 图像预训练中的错位问题
提出了一种新的度量学习方法 ——Misalign, Contrast then Distill (MCD)，该方法利用图像和文本之间的错位作为额外的训练来源，通过预测增强图像和文本之间的连续错位程度，达到了多个分类和检索数据集中最先进的迁移
PDF6 months ago
SCLIP：为密集视觉语言推理重新思考自注意力
通过引入新的自相关自注意力（CSA）机制，增强了 CLIP 在语义分割方面的潜力，并且在零样本 mIoU 方面明显优于现有的 SoTA 结果和原始的 CLIP。
PDF7 months ago
ICCV使用科学论文数据训练 CLIP 模型
通过使用科学论文的文本 - 图像数据，该研究探索在特定领域内加入具有更高质量的有限数量数据是否能够提高 CLIP 模型的整体性能。小规模实验结果显示模型性能有中等程度的提升，表明使用该研究所考虑的数据来源来训练大规模 CLIP 模型是一个有
PDF8 months ago
基于典型对比学习的 CLIP 微调方法用于物体重新识别
這項研究旨在將大規模預先訓練的視覺語言模型，如對比語言 - 圖像預訓練（CLIP），適應各種監督設置下物體再識別（Re-ID）的表現提升。在本研究中，我們首先分析了 CLIP-ReID 中 prompt learning 的作用並確認了其限
PDF8 months ago
将 CLIP 模型转变为场景文本识别器
通过使用大规模对比语言 - 图像预训练（CLIP）模型，我们将其转化为强大的骨干模型 FastTCM-CR50，从而提升场景文本检测和标记任务的能力。FastTCM-CR50 利用了 CLIP 中的视觉提示学习和交叉注意机制，提取图像和基于
PDF10 months ago
RISCLIP: 使用 CLIP 的参考图像分割框架
本文提出了一种基于 Contrastive Language-Image Pretraining (CLIP) 的新框架，通过 Fusion Adapters 和 Backbone Adapters 的方式对 RIS 进行有效的调整，实现了
PDFa year ago
ECCV扩展语言图像预训练模型以实现通用视频识别
本文提出一种简单有效的方法，将预先训练好的语言 - 图像模型直接应用于视频识别中，使用跨帧注意力机制及视频特定提示方案，实现对长时序列的检测，提高了零样本下的准确率。
PDF2 years ago