MMAug, 2023

分离与定位：重新思考文本的文本视觉问答

PDF
TL;DRTextVQA 问题解答中，我们提出了一种名为 Separate and Locate (SaL) 的新方法，该方法通过探索文本的上下文线索和设计空间位置嵌入来构建 OCR 文本之间的空间关系，从而在 TextVQA 和 ST-VQA 数据集上获得了较好的准确性改进，并且无需任何预训练任务。
textvqanetwork structurespre-training tasksseparate and locatespatial position embedding
发现论文，激发创造
  • 面向文本视觉问答的定位感知答案预测

    本文提出了一种基于局部信息的答案预测网络，即 LaAP-Net，用于解决现有基于光学字符识别（OCR）或固定词汇的文本 VQA 系统中的局限性，其中定位信息得到了更好的利用。此外，提出了一种多模式融合技术，即 COR，为定位任务提供了额外的上下文信息。LaAP-Net 在三个基准数据集上的表现比现有方法都要好。

    Oct, 2020

  • 面向 TextVQA 的空间感知多模态 Transformer

    本研究提出了基于 TextVQA 任务的一种新型空间感知自注意力模型，可以有效地推理图像中的文本内容，改进了 TextVQA 和 ST-VQA 两个关键指标，同时为视觉绑定的研究方向提供了新的思路。

    Jul, 2020

  • 基于 OCR 模态扰动的场景文本视觉问答对抗训练

    本研究提出了一种多模态的对抗训练架构，其中引入了对抗性 OCR 增强（AOE）模块和空间感知自注意力（SASA）机制，旨在改善场景文本视觉问答的性能，并为多模态对抗训练提供了新的方法。

    Mar, 2024

  • 面向 TextVQA 的结构化多模态关注力

    本文提出了一种端到端的结构化多模态关注神经网络，通过使用图形表示和多模态图形注意网络设计来处理 TextVQA 中的可视文本问答问题，并通过全局 - 本地注意回答模块生成答案，其中使用了 OCR 和通用词汇识别技术。实验证明该模型在 TextVQA 数据集和 ST-VQA 数据集等两个任务中超过了 SoTA 模型。

    Jun, 2020

  • 提升文本 - 视觉问答中的文本表达

    通过结合 TextVQA 和 VQA 数据集，我们提出了一种方法，在文本和图像特征之间增加了理解和关联性，从而提高了对问题的回答准确性。

    Aug, 2023

  • 本地化、分组和选择：通过场景文本建模提升文本 - VQA

    本文提出了一种名为 Localize, Group, and Select (LOGOS) 的模型，它利用场景文本聚类和光学字符识别（OCR）技术来更好地定位图像的关键信息、实现跨模态理解，并从不同来源的 OCR 文本中选择最佳答案，成功解决了多模态上下文理解中的 Text-VQA 问题，实验表明，该模型在两个 Text-VQA 基准测试上表现优于其他方法。

    Aug, 2021

  • 场景文本视觉问答

    本文介绍了一个新数据集，即 ST-VQA，旨在强调利用图像中文本信息的重要性。我们使用这个数据集定义了一系列难度不断增加的任务，需要利用图像中提供的上下文阅读场景文本以进行推理和生成适当的答案。我们提出了一个新的评估指标来考虑推理错误以及文本识别模块的缺陷，同时提出一系列基线方法。

    May, 2019

  • 简单并不容易：文本 VQA 和 TextCaps 的简单强基准

    本篇论文提出了一种简单的关注机制，通过将 OCR 令牌特征分别发送到可视化和语言关注分支，并将它们发送到流行的 Transformer 解码器以生成答案或标题，从而在 TextVQA 和 ST-VQA 等多个基准测试上取得最新的最佳表现，并且在文本图像字幕方面超过了 TextCaps 挑战 2020 的获胜者

    Dec, 2020

  • 定位再生成：通过边界框桥接视觉和语言进行场景文本 VQA

    提出了一个用于场景文本视觉问答的多模态框架，采用 “先定位再生成” 的范式，将空间边界框作为连接文本和视觉模态的桥梁，通过预先训练的语言模型增强绝对准确率。

    Apr, 2023

  • 面向能够阅读的 VQA 模型

    我们研究了盲人用户在看不到图片的情况下经常关注的图像内容，即图片中的文本，并介绍了一种名为 LoRRA 的新模型用于解决这个问题，同时提出了一个名为 TextVQA 的数据集来评估和改进模型表现。

    Apr, 2019