ACLApr, 2022

轻量级文本图像检索的两阶段模型压缩：更精简、更快速

PDF
TL;DR本文提出了一种有效的两阶段框架，用于压缩大型预训练双编码器，以实现轻量级文本图片检索，其结果模型较小（原始的 39％），处理图像 / 文本的速度快（分别为 1.6x / 2.9x），在 Flickr30K 和 MSCOCO 基准测试中表现不输于原始完整模型，并且我们也开源了一个逼真的移动图像搜索应用程序。
clipdual-encodertext-image retrievalcompressionmobile devices
发现论文，激发创造
  • 可压缩且可搜索：学习图像压缩的 AI 原生多模态检索系统

    我们提出了一个融合 AI-native 多模式搜索与神经图像压缩的框架，通过使用简单的适配器来提高多模式数据的压缩效率和搜索准确性，实验证明了我们的方法在数字内容、多媒体数据和大数据时代具有可伸缩性和高效性。

    Apr, 2024

  • 极端学习图像多模态深度网络压缩

    本文提出了一种文字引导图像压缩的多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，以实现更好的压缩性能，包括采用图像 - 文本注意力模块和改进的多模态语义一致性损失函数。实验证明，该方法能够在极低比特率下获得较好的视觉效果，并且即使与最先进的技术相比，其性能也可以相媲美或超越。

    Apr, 2023

  • MobileCLIP: 多模态加强训练的快速图像 - 文本模型

    在这项研究中，我们引入了 MobileCLIP 这个新的高效图像 - 文本模型系列，通过一种名为多模态增强训练的新颖且高效的训练方法，利用图像字幕模型和一组强大的 CLIP 编码器中的知识转移，将额外的知识存储在增强数据集中而避免了训练时计算开销，从而实现了零样本分类和检索任务的新的最佳延迟 - 准确性权衡。

    Nov, 2023

  • 使用双重多模式编码器对合成图像检索进行候选集重新排序

    该研究提出了一个两阶段模型：第一阶段使用常规向量距离度量，快速对候选项进行修剪；第二阶段采用双编码器体系结构，对参考文本 - 候选项 - 文本进行有效注视和重新排序，利用视觉和语言预训练网络，实现了组合先前方法的优点。

    May, 2023

  • 为改写检索调整双编码图像 - 语言模型

    通过改进训练策略，对双编码器模型进行优化，提高了语义相似性的检索结果，同时保持了零样本分类和检索准确性。

    May, 2024

  • 通过潜在压缩学习在交替图像文本数据上进行视觉模型预训练

    通过最大化因果注意模型的输入和输出之间的相互信息，我们提出了一种名为 Latent Compression Learning（LCL）的视觉模型预训练方法，以有效利用交叉图像 - 文本数据，实现对齐图像 - 文本数据进行预训练并生成强大的视觉表示。

    Jun, 2024

  • LightCLIP：轻量级视觉语言模型的多层交互学习

    本文介绍了一种用于训练轻量级 CLIP 模型的多级交互范式，包括改进的全局实例级对齐目标、基于放松二分匹配的令牌级对齐目标以及使用遮蔽语言建模的额外目标。实验结果表明，该方法在多个下游任务中实现了更高的性能。

    Dec, 2023

  • 检索增强对比视觉 - 文本模型

    本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

    Jun, 2023

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • 文本 + 草图：超低比特率图像压缩

    该论文研究了如何将基于 Billion-scale 数据集预训练的文本到图片生成模型用于图像压缩，并证明这些模型可以在很低的比特率情况下实现比学习压缩器更好的感知和语义保真度。

    Jul, 2023