Apr, 2023

CLIP 手术技术用于开放式任务的解释性增强

PDF
TL;DRCLIP（Contrastive Language-Image Pre-training）是一种强大的多模态视觉模型，该论文提出了一种 CLIP Surgery 方法，可以在不降低性能的情况下提升 CLIP 的解释性和性能，并在开放词汇任务中获得了显着的提高，如 NUS-Wide 多标签识别上得到了 4.41% 的平均精度提升，Cityscapes 开放词汇语义分割任务上的 mIoU 也超过了现有方法的 8.74%。
clipexplainabilityzero-shot learningopen-vocabulary tasksclip surgery
发现论文，激发创造
  • CLIP 融合模型库专家：视觉增强的伪监督

    通过在 CLIP 训练中结合任务特定的视觉模型，利用伪标签来改进其视觉表示，该简单的设置在不妨碍现有性能的前提下，显著提高了不同视觉任务的效果。

    Oct, 2023

  • 医学影像中的 CLIP 技术综述

    通过对 Contrastive Language-Image Pre-training (CLIP) 在医学成像领域中的深入探索，本综述论文旨在为医学图像分析领域的研究人员提供对 CLIP 范式及其潜在影响的整体理解。

    Dec, 2023

  • 探索 Contrastive 语言 - 图像预训练的视觉可解释性

    本文提出了一种名为 ECLIP 的改进版 Contrastive Language-Image Pre-training 模型，通过 Masked Max Pooling 方法解决了原模型存在的 semantic shift 问题，在目标检测和可解释性等方面有着较大的提升。

    Sep, 2022

  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • 使用语言改写改善 CLIP 训练

    本文提出了一种名为 LaCLIP 的新方法，通过语言重写增强 CLIP 的训练，具有语料丰富度高的特点，不需要额外的计算或内存负载，实现较高的图像 - 文本转移性能。

    May, 2023

  • 使用 CLIP 的半监督图像字幕生成

    本文提出了一种利用 CLIP 模型进行半监督图像标注的方法，包括图像编码器、映射网络和语言模型，通过对比生成的标题和实际标题，并使用未标记的图像进行二次训练，得到了与完整数据集训练的业界最先进模型相比可比的性能，且标题更加独特、信息量更大，并且符合人类的偏好。

    Jun, 2023

  • 民主化对比语言 - 图像预训练：一个数据、模型和监督的 CLIP 基准

    本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

    Mar, 2022

  • 无需进一步训练即可将 CLIP 用于短语定位

    利用对比语言 - 视觉模型 CLIP，我们可以实现无需人工注释或额外训练的短语定位方法，其零样本短语定位性能优于现有无训练方法，并在某些情况下甚至超过了有监督的方法。

    Apr, 2022

  • CLIP 与优质字幕：强大的视觉任务预训练

    简要概述：通过改进图像 - 文本数据集中标题的质量，有助于改善 CLIP 模型的视觉表示质量，并在密集预测视觉任务中取得显著的性能提升。

    May, 2024

  • CLIP 能为视觉语言任务带来多大的效益？

    研究了在视觉与语言任务中使用大规模预训练模型 CLIP 作为视觉编码器以及其优势，通过在特定任务中微调和在预训练模型中与 V&L 相结合传递到下游任务，CLIP 显著优于现有的视觉编码器，并在多种视觉与语言任务中取得竞争或更好的结果，同时取得了 Visual Question Answering，Visual Entailment 和 V&L Navigation 等任务的新高峰。

    Jul, 2021