AAAIApr, 2023

一种基于问答的表单图像键值对提取方法

PDF
TL;DR本文提出了一种新的基于问题回答的键值对提取方法 KVPFormer，使用 Transformer 编码器识别关键实体，通过 Transformer 解码器预测对应的答案，并进一步提出了粗细阶段答案预测方法和空间兼容性注意力偏差方法，从而在 FUNSD 和 XFUND 数据集上取得了优于先前最佳方法的 7.2％和 13.2％的 F1 得分，获得最新的结果。
question-answeringkey-value pairingtransformer encoderprediction accuracyspatial compatibility attention bias
发现论文，激发创造
  • 键值变换器

    通过对 QKV 模式性能进行评估，我们发现一个结合了 2D 位置编码的不对称的 KV 变压器常常比 QKV 变压器更有效且需要更少的参数和计算。

    May, 2023

  • 精确赋能，过度分散：动态注入语言模型中的视觉问答知识

    通过提供来自知识图谱中提取的相关外部知识，我们通过增强问题并实现可变数量的三元组，为知识增强的视觉问答模型带来了平均 4.75％的准确匹配得分提升，并展示了其在推理能力和泛化能力方面的优势。

    Jun, 2024

  • 开放域问答系统能回答视觉知识问题吗？

    本研究提出了一种基于文本的视觉问题解答系统，此系统无需额外外部知识，仅利用 BERT 模型进行重新提问，表现优异，且仅使用训练数据的 10％。

    Feb, 2022

  • 面向基于知识的视觉问答的多模式逆填空任务

    本文提出一种基于预训练的多模态逆推理任务方法，用于解决基于知识库的视觉问答，该方法适用于不同的神经网络架构，相比于没有预训练的基准模型，检索和阅读理解的相对 MRR 和相对 F1 分别提高了 9% 和 15%。

    Jan, 2023

  • 基于开放集和知识的视觉问答与推理路径

    知识引导的视觉问题回答（KB-VQA）通过外部知识库的辅助，为图像和相关的文本问题提供正确答案。本文提出了一种名为 Graph pATH rankER（GATHER）的新型 KB-VQA 框架，通过构建图、修剪和路径级别排序，不仅能够准确检索答案，还提供解释推理过程的路径。通过在真实世界问题上的广泛实验，证明了该框架不仅能够在整个知识库上进行开放式问题回答，还能提供明确的推理路径。

    Oct, 2023

  • 选择、替换、搜索：一种新的用于知识增强视觉问答的基准测试

    该研究针对现有数据集中存在的限制，建立了一个新的基于结构模式的跨模态问答数据集和挑战，同时提出了一个基于神经网络的透明的 OKVQA 系统 S3，该系统在新数据集上实现了比较好的表现。

    Mar, 2021

  • 从完整手写页中提取键值信息

    本篇论文提出了一种基于 Transformer 的方法，用于从数字化手写文件中提取信息，将特征提取、手写识别和命名实体识别的步骤结合成了一个模型，并且在不同分辨率下比较了传统的两阶段方法，实验证明全页注意力模型能够从键值注释中进行学习，并且在多个数据集上胜过现有的方法。

    Apr, 2023

  • 用于直接阅读文档的键值记忆网络

    该论文介绍了一种新方法，利用 Key-Value Memory Networks 技术，使得从文本中读取信息并回答问题成为可能，并在电影领域的 QA 数据集 WikiMovies 上进行了实验和检测，结果表明该方法对比使用 KB 或信息提取或 Wikipedia 直接处理的方法在表现上更优，表现出 state-of-the-art 的效果。

    Jun, 2016

  • GQKVA: 通过分组查询、键和值高效预训练 Transformer

    GQKVA 是一种多功能方法，旨在加速 transformer 的预训练并减小模型大小，其实验结果表明 GQKVA 在图像分类任务中可以提高大约 0.3% 的准确度并减小约 4% 的模型大小。

    Nov, 2023

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020