May, 2023

视觉语言预训练数据压缩

PDF
TL;DR该论文提出一种名为 TL;DR 的视觉语言学习算法，它利用基于编码器 - 解码器的编码器来选择代表性样本，并生成新的标题，旨在将现有的大规模 VLP 数据压缩为小高质量数据集。实验证明，使用 TL;DR 压缩后的数据集能够在许多下游任务中提供与完整数据集相似或甚至更好的结果。
vision-languagepre-trainingcompressionencoder-decoderrepresentation
发现论文，激发创造
  • VL-LTR: 学习类别感知的视觉语言表示在长尾视觉识别中的应用

    本研究提出一种基于深度学习的视觉 - 语言长尾识别框架 (VL-LTR)，并在图像文本双模态下解决了长尾数据识别问题，实验结果在 ImageNet-LT 数据集上表现优异，取得了 77.2% 的整体准确率，比之前最佳表现高出了 17 个百分点。

    Nov, 2021

  • MLLMs 增强的视觉 - 语言表示学习

    我们展示了多模态大型语言模型（MLLMs）通过提高数据质量来增强视觉语言表示学习，使用 MLLMs 扩展每个图像的多个标题，通过 “文本切割” 方法来防止 MLLMs 引入的偏见和内在标题风格，并在图像文本检索中，在微调和零样本设置下分别获得 5.6〜35.0％和 16.8〜46.1％的 R@1 提升，并且我们的零样本结果可与目标数据集上的微调相媲美，鼓励更多对 MLLMs 的多方面使用的探索。

    Nov, 2023

  • DLIP：语言 - 图像预训练的提炼

    通过 DLIP（一个简单有效的 Distilling Language-Image Pre-training 框架）这篇论文，我们从不同维度对模型蒸馏进行了深入研究和分析，包括不同模块的架构特征和不同模态的信息传递，旨在研究如何蒸馏一个轻量的 VLP 模型，并通过实验证明了 DLIP 在各种跨模态任务上取得了最先进的准确性 / 效率平衡，如图像 - 文本检索、图像描述和视觉问答等。

    Aug, 2023

  • 基于文本的末层微调解决图像分类器偏见问题

    基于大型语言模型构建的文本数据集，在嵌入空间中进行最后一层的再训练以解决分类器的偏见问题。这种方法可以将文本作为图像的代理，通过过滤生成的词语减少噪音，并展示了与使用平衡图像数据集的最后一层再训练方法相当的性能，同时优于其他无需组注释数据集的基线方法。

    Nov, 2023

  • DreamLIP：长描述文本的语言 - 图像预训练

    通过在大规模语言模型中生成详细描述的长标题，我们提出了一种动态采样子标题的方法，以在对比学习框架中构建多个正向对并使用分组损失进行自监督训练，实验证明该方法在多种下游任务上具有明显优势。

    Mar, 2024

  • 图像字幕生成的视觉语言预训练规模化提升

    本研究介绍了 LEMON，一个大规模图像描述生成模型，探究了基于视觉 - 语言预训练的 transformer 模型在图像描述生成中的可扩展性，并使用大量数据和不同训练方法对其进行了实验和分析，取得了多个数据集上的最新成果。

    Nov, 2021

  • HiVLP: 面向快速图像 - 文本检索的分层视觉语言预训练

    本文提出了一种用于快速图像 - 文本检索的 Hierarchical Vision-Language Pre-Training（HiVLP）方法，具有快速推理速度和可扩展性，并能够在大规模检索场景下进行优化表现，在 Flickr30k 和 COCO 数据集上展示了 + 4.9AR 和 + 3.8AR 的性能优势。

    May, 2022

  • 利用 LLaMA-3 对数十亿网络图像进行重新字幕

    通过使用 LLaMA-3 构建的 recaptioning pipeline，我们提供了一个改进的数据集 Recap-DataComp-1B，可以显著改善高级视觉语言模型的训练，包括 CLIP 和 text-to-image Diffusion Transformers。

    Jun, 2024

  • 科学文献的极端概括

    介绍了一种名为 TLDR 生成的新型极端摘要可用于科学论文，需要专家背景知识和对复杂领域特定语言的理解。使用 CATTS，结合标题作为辅助训练信号的 TLDR 生成学习策略，在自动化指标和人工评估下均表现出更好的效果。

    Apr, 2020

  • BLIP: 为实现统一的视觉语言理解与生成，引入语言 - 图像引导预训练

    本文提出了 BLIP 作为新的 VLP 框架，通过引入 captioner 生成合成字幕，并使用 filter 删除噪音数据，能灵活地传输视觉语言理解和生成任务，获得了在一系列视觉语言任务中最先进的结果，同时在零样本任务中也表现出极强的泛化能力。

    Jan, 2022