Dec, 2023

Alpha-CLIP：聚焦于您想要的地方的 CLIP 模型

PDF
TL;DRAlpha-CLIP 是 CLIP 的一个增强版本，通过辅助的 alpha 通道来建议注意力集中的区域，并基于构建的 RGBA 区域 - 文本对进行微调。Alpha-CLIP 不仅保留了 CLIP 的视觉识别能力，还能精确控制图像内容的强调，具有在各种任务中展现有效性的强大潜力，包括但不限于开放世界识别、多模态大语言模型和条件 2D / 3D 生成。
contrastive language-image pre-trainingclipalpha-clipattentive regionsimage-related tasks
发现论文，激发创造
  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • 医学影像中的 CLIP 技术综述

    通过对 Contrastive Language-Image Pre-training (CLIP) 在医学成像领域中的深入探索，本综述论文旨在为医学图像分析领域的研究人员提供对 CLIP 范式及其潜在影响的整体理解。

    Dec, 2023

  • CLIP 融合模型库专家：视觉增强的伪监督

    通过在 CLIP 训练中结合任务特定的视觉模型，利用伪标签来改进其视觉表示，该简单的设置在不妨碍现有性能的前提下，显著提高了不同视觉任务的效果。

    Oct, 2023

  • RegionCLIP: 基于区域的语言 - 图像预训练

    RegionCLIP 是一种新的方法，扩展了 CLIP 模型的范围，使其可以学习区域级别的视觉表征，从而实现图像区域和文本概念之间的细粒度对齐，进而在目标检测领域表现出良好的性能。

    Dec, 2021

  • HiCLIP: 基于分层感知注意力的对比语言 - 图像预训练

    本文提出了用层级感知的注意力机制改进 CLIP 模型，以更好的捕捉图像和文本的高层语义，并在视觉识别和与视觉相关的下游任务中获得良好的结果。

    Mar, 2023

  • RankCLIP: 语言 - 图像一致的排序预训练

    通过在大量文本图像对上进行自我监督的对比学习，RankCLIP 在扩展 CLIP 的刚性一对一匹配框架的同时，利用模态内和跨模态的排序一致性来提高对齐过程，捕捉每种模态之间和内部的细致的多对多关系，有效提升各种下游任务的性能，尤其在零样本分类方面，显著超越现有方法，突显了 RankCLIP 在进一步推进视觉语言预训练方面的潜力。

    Apr, 2024

  • 消除 CLIP 数据的神秘

    以数据筛选为核心的对比语言 - 图像预训练及元数据筛选的方法 MetaCLIP，在多个标准基准测试中优于 CLIP 以 CommonCrawl 为数据源的结果，MetaCLIP 在零样本 ImageNet 分类中达到 70.8% 的准确率，并在 1B 数据的情况下保持相同的训练预算达到 72.4% 的准确率。

    Sep, 2023

  • 使用科学论文数据训练 CLIP 模型

    通过使用科学论文的文本 - 图像数据，该研究探索在特定领域内加入具有更高质量的有限数量数据是否能够提高 CLIP 模型的整体性能。小规模实验结果显示模型性能有中等程度的提升，表明使用该研究所考虑的数据来源来训练大规模 CLIP 模型是一个有价值的研究方向。

    Nov, 2023

  • 使用语言改写改善 CLIP 训练

    本文提出了一种名为 LaCLIP 的新方法，通过语言重写增强 CLIP 的训练，具有语料丰富度高的特点，不需要额外的计算或内存负载，实现较高的图像 - 文本转移性能。

    May, 2023

  • CLIP 手术技术用于开放式任务的解释性增强

    CLIP（Contrastive Language-Image Pre-training）是一种强大的多模态视觉模型，该论文提出了一种 CLIP Surgery 方法，可以在不降低性能的情况下提升 CLIP 的解释性和性能，并在开放词汇任务中获得了显着的提高，如 NUS-Wide 多标签识别上得到了 4.41% 的平均精度提升，Cityscapes 开放词汇语义分割任务上的 mIoU 也超过了现有方法的 8.74%。

    Apr, 2023