Jun, 2019

ICDAR 2019 场景文本视觉问答竞赛

PDF
TL;DR本文介绍了 ICDAR 2019 场景文本视觉问答比赛 (ST-VQA) 的最终结果和新数据集，包括 23038 张图像和 31791 个文本实例答案，涵盖广泛的情景。该竞赛共有 3 个递增的任务，需要理解场景中的文本并回答问题。提出了一种新的评估度量标准，旨在评估文本识别和图像理解两种关键能力。结果分析提供了 VQA 系统当前的能力洞见。此数据集标志着使用场景文本实现全面图像理解的更强大、更通用的模型的重要里程碑。
发现论文，激发创造
  • 场景文本视觉问答

    本文介绍了一个新数据集，即 ST-VQA，旨在强调利用图像中文本信息的重要性。我们使用这个数据集定义了一系列难度不断增加的任务，需要利用图像中提供的上下文阅读场景文本以进行推理和生成适当的答案。我们提出了一个新的评估指标来考虑推理错误以及文本识别模块的缺陷，同时提出一系列基线方法。

    May, 2019

  • 乌尔都语自然场景文本检测、识别和视觉问答的数据集和基准

    通过提供 1000 多幅自然场景图像，该研究提出了一个新的多任务乌尔都语场景文本数据集，用于文本检测、识别和视觉问答任务，并解决了之前数据集在面对任意形状文本时的限制。该数据集通过引入额外的标注点，方便了对能够处理多样文本布局、复杂形状和非标准方向的方法进行开发和评估，帮助进一步推动乌尔都语场景文本理解方法的发展。

    May, 2024

  • 面向能够阅读的 VQA 模型

    我们研究了盲人用户在看不到图片的情况下经常关注的图像内容，即图片中的文本，并介绍了一种名为 LoRRA 的新模型用于解决这个问题，同时提出了一个名为 TextVQA 的数据集来评估和改进模型表现。

    Apr, 2019

  • 提升文本 - 视觉问答中的文本表达

    通过结合 TextVQA 和 VQA 数据集，我们提出了一种方法，在文本和图像特征之间增加了理解和关联性，从而提高了对问题的回答准确性。

    Aug, 2023

  • 基于 OCR 模态扰动的场景文本视觉问答对抗训练

    本研究提出了一种多模态的对抗训练架构，其中引入了对抗性 OCR 增强（AOE）模块和空间感知自注意力（SASA）机制，旨在改善场景文本视觉问答的性能，并为多模态对抗训练提供了新的方法。

    Mar, 2024

  • ViTextVQA：用于评估图像中越南文本理解的大规模视觉问答数据集

    通过对 OCR 文本中令牌的处理和选择顺序的细致实验，我们发现这一发现显著提高了在 ViTextVQA 数据集上基准模型的性能。

    Apr, 2024

  • 通过文本理解视频场景：来自基于文本的视频问答的洞察

    研究人员广泛研究了视觉和语言领域，发现理解场景需要理解视觉和文字内容，特别是在视频中理解文字对于回答问题非常重要。本文集中探索了两个最近推出的数据集，NewsVideoQA 和 M4-ViteVQA，这两个数据集旨在通过文字内容进行视频问答。NewsVideoQA 数据集包含与新闻视频中的文本相关的问答对，而 M4-ViteVQA 包含来自不同类别（如视频博客、旅游和购物）的问答对。我们在各个层面上分析了这些数据集的构建情况，探讨了回答问题所需的视觉理解和多帧理解的程度。此外，本研究还进行了与仅文本模型 BERT-QA 的实验，结果显示在这两个数据集上，BERT-QA 的表现与原始方法相当，指示了这些数据集构建上的不足之处。此外，我们还探讨了域适应方面的问题，通过在 M4-ViteVQA 上进行训练并在 NewsVideoQA 上进行评估以及反之，从而探讨了跨领域训练的挑战和潜在好处。

    Sep, 2023

  • 视觉语言问答 (VLQA) 挑战赛

    新方法和基础性性能的比较与现有机器学习方法中挑战的问题进行了讨论，最终提出了 Visuo-Linguistic Question Answering 作为计算机视觉和自然语言处理的基准测试集。

    May, 2020

  • 基于离散推理实现复杂文档理解

    本文提供了一个名为 TAT-DQA 的新的数据集，包含来自财务报告的，既有半结构化表格和非结构化文本，又有 16558 个问答对。此外，作者发明了一种新的文档 VQA 模型 MHST，可以智能地处理来自多种模态的信息，从而有效地回答不同类型的问题，并运用离散推理来训练。结果表明，该模型明显优于基线方法，但仍然远远落后于专家人类。作者希望通过提供新的数据集能够促进对融合视觉和语言的视觉丰富文档的深度理解的研究。

    Jul, 2022

  • ICDAR 2021 文档视觉问答竞赛

    通过 ICDAR 2021 版本的文件视觉问题挑战结果，我们介绍了一种新的基于超过 5000 张信息图像和 30,000 个问答组的 Infographics VQA 数据集的任务，并展示了赢家方法在 3 个不同 VQA 任务上的性能。同时还介绍了任务中使用的数据集以及每个提交方法的描述和性能结果。

    Nov, 2021