Jan, 2024

可控的深度描述生成器与多模态嵌入桥接

PDF
TL;DR提出了一种名为 ControlCap 的可控制的密集字幕生成器，通过引入语言指导来适应用户对于密集字幕生成的意图。ControlCap 是由多模态嵌入生成模块和双向嵌入桥接模块组成的多模态嵌入桥接架构。实验证明，ControlCap 在 Visual Genome 和 VG-COCO 数据集上分别比现有方法提高了 1.5% 和 3.7%（mAP）。并且，通过将区域 - 类别对转换为区域 - 文本对，ControlCap 可以作为密集字幕生成的强大数据引擎。
发现论文，激发创造
  • Show, Control and Tell: 一种生成可控和有基础的字幕的框架

    本文介绍了一种新的图像字幕生成框架，该框架包括具有预测文本块和约束条件的递归架构，这些约束条件是通过控制信号（图像区域的序列或集合）确定的，并通过允许地面化和可控性来产生多样化的描述。实验表明，该方法在可控的图像字幕生成方面取得了最先进的性能。

    Nov, 2018

  • 通过提示实现可控的图像描述

    本文提出了一种统一模型，能够在不同领域间自由切换并实现生成所需风格的图像描述，这种可控能力通过在图像描述的框架中嵌入提示学习来实现，具体采用一组提示用于微调预训练的图像描述器，而这些提示则在连续的词嵌入空间中通过可学习向量进行优化，从而避免启发式提示工程，并展现出卓越的性能。

    Dec, 2022

  • FlexCap: 在图像中生成丰富、本地化和灵活的标题

    我们介绍了一种多功能的 “灵活字幕” 视觉语言模型（VLM），能够生成长度各异的区域特定描述。该模型 FlexCap 训练用于为输入边界框生成长度条件化的字幕，从而控制其输出的信息密度，从简要的物体标签到详细的字幕不等。通过创建大规模的训练数据集，从带字幕的图像开始，我们实现了这一灵活字幕的功能，并展示了其在密集字幕任务、视觉问答和对象检测等领域具有广泛应用的优越性能。

    Mar, 2024

  • 图像描述生成的宏观控制

    本论文提出了两种新方法来改善图像字幕模型的多样性、可控性和句子生成质量，并使用图像文本匹配模型来选择更好的句子。实验结果表明，这些方法可以显著提高模型的性能。

    Jan, 2021

  • 基于问题控制的文本感知图像描述

    本研究提出了一种新的受控图像文本生成任务 Qc-TextCap，并通过设计问题控制模型（GQAM）达到比现有模型更好的文本生成性能和问题答案能力，同时构建了两个数据集（ControlTextCaps 和 ControlVizWiz），提高了多样化和信息性。

    Aug, 2021

  • 利用大型语言模型将视觉数据融合到丰富的图像标题中的 FuseCap

    本文提出了一种用于创建图像标题的方法，通过采用额外的视觉信息，包括对象检测器、识别器等来丰富标题，经大型语言模型融合，生成全面的图像描述。实验证明，该方法有效，所提供的数据集显着提高了图像 - 文本检索。

    May, 2023

  • 基于语言驱动的区域指针推进的可控图像字幕生成

    本文提出了一种通过在语言结构中引入 NEXT-token 的方法来预测区域指针前进的时机的新方法，该方法可提高准确度并显著增加有效词汇量。

    Nov, 2020

  • 具有动词特定语义角色的类人可控图像标题生成

    提出了新的控制信号，基于 Controllable Image Captioning (CIC)，包括顶点特定语义角色 (VSR)，通过基于地面的语义角色标记模型 (GSRL) 训练来确定所有实体对于每个角色，借助语义结构计划器（SSP）学习像人类一样的描述性语义结构，并使用角色转移字幕模型生成字幕。

    Mar, 2021

  • 交互式图像描述：多样的多模态控制

    本文介绍 Caption AnyThing (CAT)，一个支持广泛的多模控制的图像字幕化框架，该框架通过 Segment Anything Model (SAM) 和 ChatGPT 将视觉和语言提示统一成模块化框架，支持不同控制的灵活组合，以获得更好的用户交互建模。

    May, 2023

  • 更好地利用图片描述提升图像字幕质量

    本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

    Jun, 2020