Dec, 2023

PixLore：基于数据集的丰富图像标题生成方法

PDF
TL;DR使用 PixLore 方法，通过在商用 GPU 上细调 BLIP-2 模型，利用 LoRa 方法，基于来自先进计算机视觉模型和 ChatGPT 的精心组装的数据集训练，解决了图像理解的复杂性问题，并证明了以较小规模模型的集合体可以在绝大部分评估中超越 GPT-4 和 Google Bard 等现有领先模型。
vision-language integrationimage captionspixlorequerying transformerscurated datasets
发现论文，激发创造
  • 从像素到散文：一个大规模的密集图像字幕数据集

    使用 PixelProse，通过 16M 个合成生成的标题，我们构建了一个详细而准确的图像描述的综合数据集，同时还提供了有价值的元数据，如水印存在和美学评分，以帮助进一步的数据集过滤。

    Jun, 2024

  • Bi-LORA: 一种综合图像检测的视觉语言方法

    该研究介绍了一种创新方法 Bi-LORA，利用视觉语言模型与低秩适应技术相结合，将二分类问题重新构建为图像字幕任务，以提高对未知模型生成图像的合成图像检测精度。实验证明该方法在检测合成图像上具有 93.41% 的平均准确率。

    Apr, 2024

  • 展示并告诉：神经图像字幕生成器

    本文提出了基于深度递归架构的生成模型，结合计算机视觉和机器翻译的最新进展，将图像描述为自然语言的句子，实验结果表明了模型的准确性和流畅性。

    Nov, 2014

  • ALLaVA: 利用 GPT4V 合成的数据为轻量级视觉 - 语言模型开发

    利用 GPT-4V 生成图像的详细标题、复杂的推理指令和详细答案，通过合成数据集，我们训练了 ALLaVA 模型，该模型在 12 个基准测试中取得了竞争性的性能，展示了在构建更高效的 LVLMs 中采用高质量数据的可行性。

    Feb, 2024

  • 检索辅助的图像字幕生成

    提出了一种使用预训练的视觉和语言编码器的图像字幕生成方法，该方法联合处理图像和从 Datastore 检索到的字幕，实现了检索增强的语言生成，该方法名为 EXTRA。实验结果表明，检索足够数量的字幕可以提高字幕生成的质量。

    Feb, 2023

  • VisualGPT：预训练语言模型数据有效适配图像字幕生成

    本研究提出了 VisualGPT，一种数据高效的图像字幕模型，它利用了预先训练的语言模型中获得的语言知识，使用自重生编码器 - 解码器注意机制在少量领域训练数据上快速适应预训练的语言模型，并通过稀疏激活单元减少了零梯度的影响，我们在 MSCOCO 和 Conceptual Captions 数据集上进行 0.1％，0.5％和 1％的训练，结果表明，我们在 MS COCO 上的 CIDEr 得分最好的基线模型高达 10.8％，在 Conceptual Captions 上高达 5.4％，并在医学报告生成数据集 IU X-ray 上取得了最新的结果。

    Feb, 2021

  • BLIP: 为实现统一的视觉语言理解与生成，引入语言 - 图像引导预训练

    本文提出了 BLIP 作为新的 VLP 框架，通过引入 captioner 生成合成字幕，并使用 filter 删除噪音数据，能灵活地传输视觉语言理解和生成任务，获得了在一系列视觉语言任务中最先进的结果，同时在零样本任务中也表现出极强的泛化能力。

    Jan, 2022

  • CLAIR: 使用大型语言模型评估图像标题

    CLAIR 是一种新颖方法，利用大型语言模型（LLMs）的零 - shot 语言建模能力来评估候选图像标题，与现有方法相比，CLAIR 在与人类判断相符的标题质量方面表现出更强的相关性，能够清晰解读结果与其分配的分数背后的推理过程。

    Oct, 2023

  • SmallCap：轻量级图像字幕生成联合检索增强

    SmallCap 是一个轻量且快速的图像字幕生成模型，它通过用与目标图像相关的字幕在数据存储中进行训练，而无需对模型进行额外的微调以实现跨域迁移学习，同时避免了扩大模型规模的开销。

    Sep, 2022

  • 从字幕到视觉概念的转换和回归

    本文提出了一种用于自动生成图像描述的新方法：使用从图像标题数据集中直接学习的视觉探测器、语言模型和多模式相似模型。

    Nov, 2014