Dec, 2023

Alpha-CLIP：聚焦于您想要的地方的CLIP模型

HTML
PDF
TL;DRAlpha-CLIP是CLIP的一个增强版本，通过辅助的alpha通道来建议注意力集中的区域，并基于构建的RGBA区域-文本对进行微调。Alpha-CLIP不仅保留了CLIP的视觉识别能力，还能精确控制图像内容的强调，具有在各种任务中展现有效性的强大潜力，包括但不限于开放世界识别、多模态大语言模型和条件2D / 3D生成。
发现论文，激发创造
  • RegionCLIP: 基于区域的语言-图像预训练

    RegionCLIP是一种新的方法，扩展了CLIP模型的范围，使其可以学习区域级别的视觉表征，从而实现图像区域和文本概念之间的细粒度对齐，进而在目标检测领域表现出良好的性能。

    Dec, 2021

  • CLIP-TD：针对视觉语言任务的CLIP目标蒸馏

    本研究提出了一项名为CLIP-TD的方法，对视觉-语言任务进行有针对性的蒸馏，以适应每个实例自适应选择的标记。 经过实验证明，我们的CLIP-TD在视觉常识推理，视觉蕴涵推理和视觉问答的低量数据和领域迁移条件下获得了显着的增益，并在这些任务上取得了最先进的性能。

    Jan, 2022

  • CLIP-ViP：基于预训练图文模型的视频语言表示对齐

    通过对数据规模和语言源域差异的研究，本文提出了一种基于CLIP的OmniSource跨模态学习方法，称为CLIP-ViP，通过视频代理机制改进后续预训练CLIP，从而实现显著提高视频-文本检索的性能。该方法在多个数据集上均取得了SOTA结果。

    Sep, 2022

  • 消除CLIP数据的神秘

    以数据筛选为核心的对比语言-图像预训练及元数据筛选的方法MetaCLIP，在多个标准基准测试中优于CLIP以CommonCrawl为数据源的结果，MetaCLIP在零样本ImageNet分类中达到70.8%的准确率，并在1B数据的情况下保持相同的训练预算达到72.4%的准确率。

    Sep, 2023

  • CLIP 融合模型库专家：视觉增强的伪监督

    通过在CLIP训练中结合任务特定的视觉模型，利用伪标签来改进其视觉表示，该简单的设置在不妨碍现有性能的前提下，显著提高了不同视觉任务的效果。

    Oct, 2023

  • 医学影像中的CLIP技术综述

    通过对Contrastive Language-Image Pre-training (CLIP)在医学成像领域中的深入探索，本综述论文旨在为医学图像分析领域的研究人员提供对CLIP范式及其潜在影响的整体理解。

    Dec, 2023

  • FiGCLIP: 细粒度CLIP适应通过密集标注视频

    通过基于 VidSitu 数据集的细节导向字幕和层级损失，我们改进了 contrastive language image pretraining (CLIP) 模型，提高了其对细粒度和句法的理解能力，并在不同任务中取得了稳定的改进。

    Jan, 2024

  • EVA-CLIP-18B：扩展到180亿参数的CLIP

    EVA-CLIP-18B是目前最大且最强大的开源CLIP模型，拥有180亿参数；只看到60亿个训练样本，EVA-CLIP-18B在27个广泛公认的图像分类基准中，以异乎寻常的80.7%零示例一级准确度表现出色，在模型大小扩展方面，观察到EVA-CLIP的持续性能改进；希望通过提供我们的模型权重公开，促进未来在视觉和多模态基础模型方面的研究。

    Feb, 2024

  • 长文本CLIP: 解锁CLIP的长文本能力

    通过引入Long-CLIP作为CLIP的替代方案，本研究提供了一种支持长文本输入的方法，并保持了零样本泛化能力，提高了长标题文本-图像检索和传统文本-图像检索任务的性能。

    Mar, 2024

  • CLIP与优质字幕：强大的视觉任务预训练

    简要概述：通过改进图像-文本数据集中标题的质量，有助于改善CLIP模型的视觉表示质量，并在密集预测视觉任务中取得显著的性能提升。

    May, 2024