EMNLPNov, 2020

有目的的字幕制作：CapWAP

PDF
TL;DR本文提出了一种叫做 “Captioning with a Purpose” 的新任务，使用问题 - 回答对代替传统的参考字幕进行训练和后推理评估，并使用强化学习直接优化旨在满足用户信息需求的结果。这种目的性字幕系统在使用字幕作为上下文时，能够比其通用对应物更好地预测和满足特定信息需求，在多种情况下演示了这一定论的有效性。
captioning with a purposequestion-answer pairsreinforcement learningvisual question answeringinformation needs
发现论文，激发创造
  • PromptCap：基于提示的任务感知图像字幕生成

    研究了通过引入 PromptCap 这一基于控制生成描述的图像标题模型，用于解决直接使用通用标题生成模型缺乏对视觉细节描述的问题，提高了知识型视觉问答任务的准确性。

    Nov, 2022

  • WeaQA: 通过标题的弱监督使视觉问答更准确

    研究如何使用图像和相关描述文本生成合成的 Q-A 对集合，而无需人工标注，同时利用空间金字塔图像块作为一种简单而有效的 VQA 模型替代方案。

    Dec, 2020

  • 生成问题相关的字幕以帮助视觉问答

    该文介绍了一种新的方法来提高视觉问题回答的性能，该方法利用深度学习的技术，结合语言和视觉的普适性知识来生成针对特定视觉问题的图像描述，并利用在线梯度方法自动确定与问题相关的描述来训练模型，实验结果表明，本方法取得了视觉问题回答领域的最新成果。

    Jun, 2019

  • A-CAP: 带有常识知识的预测字幕生成

    通过引入一种新任务，即预期字幕，来模拟人类基于时间顺序的视觉暗示进行未来思考的能力，并提出了一种名为 A-CAP 的模型，该模型将常识知识并入预训练的视觉和语言模型中，使其能够进行预期字幕，并在定制的视觉叙述数据集上进行定量和定性评估，A-CAP 优于其他图像字幕方法，为预期字幕建立了一个强大的基线，同时解决了该任务的内在挑战。

    Apr, 2023

  • 基于问题控制的文本感知图像描述

    本研究提出了一种新的受控图像文本生成任务 Qc-TextCap，并通过设计问题控制模型（GQAM）达到比现有模型更好的文本生成性能和问题答案能力，同时构建了两个数据集（ControlTextCaps 和 ControlVizWiz），提高了多样化和信息性。

    Aug, 2021

  • 通过问题驱动的图像标题作为提示，增强视觉问答能力

    通过在视觉问题回答（VQA）过程中利用图像描述作为中介步骤，建立零样本设置，探索了零样本 VQA 的影响。比较了最先进的图像描述模型对于不同问题类型的 VQA 性能在结构和语义上的影响，并在 VQA 过程中提出了一种简单高效的问题驱动图像描述方法，通过提取问题关键词、为每个图像 - 问题对生成描述，并将问题驱动的描述传输到大型语言模型中。研究发现利用图像描述和大型语言模型的能力，在零样本设置下能够实现竞争性的 GQA 性能。

    Apr, 2024

  • 利用视觉问答进行图像字幕排名

    本研究将视觉问题回答任务视为 “特征提取” 模块，提取图像和标题的表征，以此为基础对图像 - 标题进行排序并提出融合模型提高图像 - 标题匹配一致性的表现。实验发现，该模型在 MSCOCO 数据集上的字幕检索提高了 7.1％，图像提取提高了 4.4％。

    May, 2016

  • 通过参考生成的段落标题来提高视觉问答能力

    提出了一种视觉和文本问题回答（VTQA）模型，该模型使用自动生成的段落式标题来丰富图像的信息以帮助正确回答视觉问题，并使用交叉融合和基于强化学习的编码器解码器模型实现跨模态融合。模型在 Visual Genome 数据集上进行训练，显著提高了现有模型的性能。

    Jun, 2019

  • TAP: 面向 Text-VQA 和 Text-Caption 的文本感知预训练

    本文提出了一种名为 TAP 的方法，通过使用光学字符识别引擎生成的图像文字来预训练模型，从而帮助模型在三种模态 —— 文本单词、视觉对象和场景文本中学习更好的对齐表示，在多个任务上均表现出卓越的性能。

    Dec, 2020

  • VQA 可能只需要图片标题

    本文提出了使用图像 - 标题注释与文本问题生成的神经模型自动导出 VQA 示例的方法，从而改进了 VQA 数据的质量和量，并在零样本准确性方面取得了双位数的业界领先水平。

    May, 2022