Oct, 2023

理解 CLIP 中的可迁移表征学习和零射击迁移

PDF
TL;DR通过对 CLIP 的理论研究，我们证明了多模态学习的可转移表示学习，并分析了其在零样本学习和下游任务中的性能。在此基础上，我们提出了一种新的 CLIP 类型方法，在基准数据集上实现了比 CLIP 和其他最先进方法更好的性能。
multi-modal learningclipcontrastive pretrainingzero-shot learningtransferrable representation learning
发现论文，激发创造
  • 多模态基础模型的零样本鲁棒性基准测试：一项试点研究

    基于大规模的鲁棒性基准测试，本研究通过评估 CLIP 模型在自然分布偏移和对抗攻击下的性能，发现零样本多模态模型的鲁棒性明显不足，强调了对零样本多模态模型的鲁棒性进行改进的重要性。

    Mar, 2024

  • CLIP 解码器：使用多模态 CLIP 对齐表示进行零样本多标签分类

    多标签分类的零样本学习方法，通过引入 CLIP-Decoder 的多模态表示学习，在零样本多标签分类任务中表现出前沿结果，相较于现有方法在性能上提升了 3.9％，在广义零样本多标签分类任务中提升了近 2.3％。

    Jun, 2024

  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • 跨模态检索遇见推理：通过跨模态检索提升零样本分类

    通过跨模态引导和模态置信度集成，X-MoRe 方法利用 CLIP 的跨模态表示能力，从外部图文对数据集中检索相关的文本信息，并通过赋予可靠性更高的模态对最终预测产生贡献，从而在多样化的任务中展示了稳健的性能，充分发挥了 CLIP 的零样本分类能力。

    Aug, 2023

  • CALIP: 零参数关注下的零样本增强 CLIP

    本文提出了一种名为 CALIP 的方法，通过一个无需参数的关注模块，在不增加额外的训练开销和数据需求的情况下提高 Contrastive Language-Image Pre-training 的零样本性能。

    Sep, 2022

  • RankCLIP: 语言 - 图像一致的排序预训练

    通过在大量文本图像对上进行自我监督的对比学习，RankCLIP 在扩展 CLIP 的刚性一对一匹配框架的同时，利用模态内和跨模态的排序一致性来提高对齐过程，捕捉每种模态之间和内部的细致的多对多关系，有效提升各种下游任务的性能，尤其在零样本分类方面，显著超越现有方法，突显了 RankCLIP 在进一步推进视觉语言预训练方面的潜力。

    Apr, 2024

  • 多模态 CLIP 推理用于元 - 少样本图像分类

    结合 CLIP 的文本和图像编码器的多模态方法，在广泛采用的基准测试上超越了最先进的元少样学习模型，而无需额外训练。

    Mar, 2024

  • CLIP 模型是少样本学习器：基于 VQA 和视觉蕴涵的实证研究

    本文实证表明，CLIP 通过利用语言的能力可以成为强大的视觉 - 语言少样本学习器。我们评估了 CLIP 在典型的视觉问答任务和视觉蕴含任务的零样本性能，并提出了一种参数有效的微调策略，以提高少样本性能，最终取得了有竞争力的零样本 /few-shot 结果。

    Mar, 2022

  • 无处不在的监管：一种数据高效的对比语言图像预训练范式

    本文提出一种用于 Contrastive Language-Image Pre-training (CLIP) 的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像 - 文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现 60.4% 的零样本 top1 准确率，并在转化到下游任务时优于常规 CLIP 模型。

    Oct, 2021

  • 基于 CLIP 的图像到文本转换提升多模态理解能力

    将输入图像转化为相应的文字解释是计算机视觉和自然语言处理领域中一个关键而复杂的过程，本文提出了一种创新的集成方法，利用对比式语言图像预训练模型的能力。

    Jan, 2024