Apr, 2024

利用跨模态邻居表示改进 CLIP 分类

PDF
TL;DR通过自动生成高质量多样文本，利用 CrOss-moDal nEighbor Representation (CODER) 对 CLIP 进行特征提取，提高 CLIP 在单模态特征提取上的性能，进而充分发挥其强大的跨模态匹配能力。
clipcross-modal matchingfeature extractioncross-modal neighbor representationauto text generator
发现论文，激发创造
  • 跨模态检索遇见推理：通过跨模态检索提升零样本分类

    通过跨模态引导和模态置信度集成，X-MoRe 方法利用 CLIP 的跨模态表示能力，从外部图文对数据集中检索相关的文本信息，并通过赋予可靠性更高的模态对最终预测产生贡献，从而在多样化的任务中展示了稳健的性能，充分发挥了 CLIP 的零样本分类能力。

    Aug, 2023

  • CLIP 解码器：使用多模态 CLIP 对齐表示进行零样本多标签分类

    多标签分类的零样本学习方法，通过引入 CLIP-Decoder 的多模态表示学习，在零样本多标签分类任务中表现出前沿结果，相较于现有方法在性能上提升了 3.9％，在广义零样本多标签分类任务中提升了近 2.3％。

    Jun, 2024

  • CyCLIP: 循环对比语言 - 图像预训练

    介绍了一种改进的对比表示学习框架 CyCLIP，通过显式对图像和文本空间的几何一致性进行优化，提高了模型的一致性和表现在零样本分类和分布不变性方面。在标准基准测试中，与 CLIP 相比，零样本分类准确率和对自然分布变化的鲁棒性分别提高了 10%-24% 和 10%-27%。

    May, 2022

  • AdvCLIP：多模态对比学习中与下游无关的对抗样本

    使用 AdvCLIP 构建通用的对抗例子，用于欺骗继承了受害交叉模态预训练编码器的所有下游任务，以实现跨模态图像文本检索和图像分类等复杂任务的非目标攻击。

    Aug, 2023

  • MobileCLIP: 多模态加强训练的快速图像 - 文本模型

    在这项研究中，我们引入了 MobileCLIP 这个新的高效图像 - 文本模型系列，通过一种名为多模态增强训练的新颖且高效的训练方法，利用图像字幕模型和一组强大的 CLIP 编码器中的知识转移，将额外的知识存储在增强数据集中而避免了训练时计算开销，从而实现了零样本分类和检索任务的新的最佳延迟 - 准确性权衡。

    Nov, 2023

  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • C-CLIP：用于缩小描述性文字之间差距的对比图像 - 文本编码器

    通过训练对比图像 - 文本编码器，利用明确的评论式对提高检索结果的准确性进行了大幅改进，并且这种改进可扩展至多种非英语语言。

    Sep, 2023

  • 从像素到图像与语言理解的 CLIPPO 模型

    本研究提出了使用纯基于像素的单一编码器进行图像、文本和多模态任务的方法 ——CLIP-Pixels Only，其使用了对比损失进行训练，并且可以表现出强大的多语种多模态检索能力及惊人的视觉问答准确性。

    Dec, 2022

  • Prompt Switch: 高效的 CLIP 适应文本 - 视频检索

    该研究论文介绍了一种在文本 - 视频检索中学习视频语义表示的方法，通过将一个空间 - 时间上下文模块引入图像编码器，并通过辅助视频字幕目标进行训练，以提高视频帧的语义能力。在增强后的帧表示上使用简单的时序融合策略，取得了三个基准数据集（MSR-VTT，MSVD 和 LSMDC）的最先进性能。

    Aug, 2023

  • CLIP 也可以理解文本：通过提示进行短语理解

    本篇研究发现，使用自然语言的方式来训练 Contrastive Language-Image Pretraining (CLIP) 的文本编码器，能够更好地实现短语的理解，甚至能够在正确的提示下，显著优于流行的语言模型，有效地提升实体聚类和扩展任务的效果。

    Oct, 2022